In [1]:
import os
import numpy as np
import polars as pl
from survey_kit.imputation.srmi import SRMI
from survey_kit import logger, config
In [2]:
# Convergence diagnostics answer "did the SRMI iteration settle down, or is
# it still drifting" - run several iterations and implicates so there's
# something to actually plot
n_rows = 3_000
rng = np.random.default_rng(20260913)
x1 = rng.normal(size=n_rows)
x2 = rng.normal(size=n_rows)
y1 = 2.0 * x1 - 1.0 * x2 + rng.normal(scale=1.0, size=n_rows)
y2 = -1.5 * x1 + 0.5 * y1 + rng.normal(scale=1.0, size=n_rows)
df = pl.DataFrame(dict(row_id=range(n_rows), x1=x1, x2=x2, y1=y1, y2=y2))
for col, share in [("y1", 0.2), ("y2", 0.2)]:
missing = rng.random(n_rows) < share
df = df.with_columns(
pl.when(pl.Series(missing)).then(None).otherwise(pl.col(col)).alias(col)
)
srmi = SRMI.simple_model(
df=df,
index="row_id",
replication=SRMI.Replication(n_implicates=4, n_iterations=10),
parallel=SRMI.Parallel(enabled=False),
bootstrap=SRMI.Bootstrap(enabled=True),
storage=SRMI.Storage(
path_model=f"{config.path_temp_files}/tutorial_diagnostics_convergence",
force_start=True,
),
)
srmi.run()
auto_detect: 'y1' -> class=continuous, modeltype=LightGBM, predictors=['x1', 'x2', 'y2']
auto_detect: 'y2' -> class=continuous, modeltype=LightGBM, predictors=['x1', 'x2', 'y1']
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi
Variable selection before SRMI run, if necessary
y1: Method.No
y2: Method.No
Hyperparameter tuning before SRMI run, if necessary
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3842601641}
Iterations: 100
Model: y1=f(x1, x2, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7807 ┆ 0.4793 ┆ 0 ┆ 0.01674 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.2193 ┆ 0.5207 ┆ 0 ┆ 0.003833 ┆ 0 ┆ 0.01459 │ └─────────┴────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.037097 ┆ 0.083959 │ │ std ┆ 2.481378 ┆ 2.311593 ┆ 2.240874 │ │ min ┆ -9.344307 ┆ -7.732739 ┆ -5.903192 │ │ 25% ┆ -1.568774 ┆ -1.428096 ┆ -1.442881 │ │ 50% ┆ 0.013614 ┆ 0.053149 ┆ 0.079055 │ │ 75% ┆ 1.693908 ┆ 1.603574 ┆ 1.663318 │ │ max ┆ 7.3889 ┆ 6.580729 ┆ 5.948983 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.037097 ┆ 0.083959 │ │ std ┆ 2.481378 ┆ 2.311593 ┆ 2.240874 │ │ min ┆ -9.344307 ┆ -7.732739 ┆ -5.903192 │ │ 25% ┆ -1.568774 ┆ -1.428096 ┆ -1.442881 │ │ 50% ┆ 0.013614 ┆ 0.053149 ┆ 0.079055 │ │ 75% ┆ 1.693908 ┆ 1.603574 ┆ 1.663318 │ │ max ┆ 7.3889 ┆ 6.580729 ┆ 5.948983 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 90 ┆ 3 │ │ 685 ┆ 3 │ │ 1021 ┆ 3 │ │ 2255 ┆ 3 │ │ 2474 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3000 ┆ 3000 ┆ 0.03724 ┆ 2.473 ┆ 0.03724 ┆ 2.473 ┆ -3.242 ┆ -1.576 ┆ 0.004367 ┆ 1.73 ┆ 3.296 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 2404 ┆ 2404 ┆ 0.02718 ┆ 2.481 ┆ 0.02718 ┆ 2.481 ┆ -3.259 ┆ -1.573 ┆ 0.01158 ┆ 1.694 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.07783 ┆ 2.44 ┆ 0.07783 ┆ 2.44 ┆ -3.098 ┆ -1.609 ┆ -0.06626 ┆ 1.834 ┆ 3.335 ┆ -6.478 ┆ 6.572 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2633864108}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4247 ┆ 0.3297 ┆ 0 ┆ 0.03035 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.2885 ┆ 0.3233 ┆ 0 ┆ 0.00414 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2868 ┆ 0.347 ┆ 0 ┆ 0.05758 ┆ 0 ┆ -0.04196 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.01154 ┆ -0.011619 │ │ std ┆ 1.288127 ┆ 0.882585 ┆ 0.852735 │ │ min ┆ -4.294867 ┆ -3.547173 ┆ -2.190036 │ │ 25% ┆ -0.891405 ┆ -0.601439 ┆ -0.53997 │ │ 50% ┆ -0.040102 ┆ -0.083939 ┆ -0.090326 │ │ 75% ┆ 0.868993 ┆ 0.613658 ┆ 0.604875 │ │ max ┆ 4.045241 ┆ 2.923475 ┆ 2.335533 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.01154 ┆ -0.011619 │ │ std ┆ 1.288127 ┆ 0.882585 ┆ 0.852735 │ │ min ┆ -4.294867 ┆ -3.547173 ┆ -2.190036 │ │ 25% ┆ -0.891405 ┆ -0.601439 ┆ -0.53997 │ │ 50% ┆ -0.040102 ┆ -0.083939 ┆ -0.090326 │ │ 75% ┆ 0.868993 ┆ 0.613658 ┆ 0.604875 │ │ max ┆ 4.045241 ┆ 2.923475 ┆ 2.335533 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 90 ┆ 4 │ │ 2683 ┆ 4 │ │ 617 ┆ 3 │ │ 897 ┆ 3 │ │ 2409 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3000 ┆ 3000 ┆ -0.03014 ┆ 1.285 ┆ -0.03014 ┆ 1.285 ┆ -1.689 ┆ -0.8924 ┆ -0.04608 ┆ 0.8702 ┆ 1.641 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 2387 ┆ 2387 ┆ -0.02211 ┆ 1.288 ┆ -0.02211 ┆ 1.288 ┆ -1.653 ┆ -0.8914 ┆ -0.0401 ┆ 0.869 ┆ 1.658 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.06141 ┆ 1.271 ┆ -0.06141 ┆ 1.271 ┆ -1.757 ┆ -0.8991 ┆ -0.08025 ┆ 0.8913 ┆ 1.578 ┆ -3.415 ┆ 3.52 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3174321179}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7479 ┆ 0.3277 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.2005 ┆ 0.3367 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.05154 ┆ 0.3357 ┆ 0 ┆ -0.03014 ┆ 0 ┆ 0.007523 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.037243 ┆ 0.059223 ┆ 0.116285 │ │ std ┆ 2.472946 ┆ 2.320146 ┆ 2.258538 │ │ min ┆ -9.344307 ┆ -8.266687 ┆ -6.224046 │ │ 25% ┆ -1.57383 ┆ -1.415427 ┆ -1.431388 │ │ 50% ┆ 0.004367 ┆ -0.008253 ┆ -0.022566 │ │ 75% ┆ 1.729615 ┆ 1.651054 ┆ 1.626533 │ │ max ┆ 7.3889 ┆ 6.604662 ┆ 5.939389 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.037243 ┆ 0.059223 ┆ 0.116285 │ │ std ┆ 2.472946 ┆ 2.320146 ┆ 2.258538 │ │ min ┆ -9.344307 ┆ -8.266687 ┆ -6.224046 │ │ 25% ┆ -1.57383 ┆ -1.415427 ┆ -1.431388 │ │ 50% ┆ 0.004367 ┆ -0.008253 ┆ -0.022566 │ │ 75% ┆ 1.729615 ┆ 1.651054 ┆ 1.626533 │ │ max ┆ 7.3889 ┆ 6.604662 ┆ 5.939389 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1580 ┆ 3 │ │ 21 ┆ 2 │ │ 87 ┆ 2 │ │ 282 ┆ 2 │ │ 344 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04077 ┆ 2.47 ┆ 0.04077 ┆ 2.47 ┆ -3.242 ┆ -1.588 ┆ 0.00009122 ┆ 1.73 ┆ 3.3 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03724 ┆ 2.473 ┆ 0.03724 ┆ 2.473 ┆ -3.248 ┆ -1.576 ┆ 0.004367 ┆ 1.73 ┆ 3.296 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.05852 ┆ 2.454 ┆ 0.05852 ┆ 2.454 ┆ -3.047 ┆ -1.625 ┆ -0.02427 ┆ 1.73 ┆ 3.311 ┆ -7.183 ┆ 6.449 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2294249748}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.3928 ┆ 0.3333 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.3179 ┆ 0.328 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2893 ┆ 0.3387 ┆ 0 ┆ 0.03341 ┆ 0 ┆ -0.03828 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.030137 ┆ -0.037238 ┆ -0.047191 │ │ std ┆ 1.28461 ┆ 0.923432 ┆ 0.949289 │ │ min ┆ -4.294867 ┆ -3.295713 ┆ -2.70767 │ │ 25% ┆ -0.892413 ┆ -0.663791 ┆ -0.728455 │ │ 50% ┆ -0.042256 ┆ -0.049999 ┆ -0.030023 │ │ 75% ┆ 0.87018 ┆ 0.600269 ┆ 0.640105 │ │ max ┆ 4.045241 ┆ 3.123042 ┆ 2.661333 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.030137 ┆ -0.037238 ┆ -0.047191 │ │ std ┆ 1.28461 ┆ 0.923432 ┆ 0.949289 │ │ min ┆ -4.294867 ┆ -3.295713 ┆ -2.70767 │ │ 25% ┆ -0.892413 ┆ -0.663791 ┆ -0.728455 │ │ 50% ┆ -0.042256 ┆ -0.049999 ┆ -0.030023 │ │ 75% ┆ 0.87018 ┆ 0.600269 ┆ 0.640105 │ │ max ┆ 4.045241 ┆ 3.123042 ┆ 2.661333 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 66 ┆ 4 │ │ 340 ┆ 3 │ │ 2107 ┆ 3 │ │ 52 ┆ 2 │ │ 62 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.03364 ┆ 1.286 ┆ -0.03364 ┆ 1.286 ┆ -1.695 ┆ -0.9058 ┆ -0.05713 ┆ 0.8788 ┆ 1.639 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.03014 ┆ 1.285 ┆ -0.03014 ┆ 1.285 ┆ -1.689 ┆ -0.8924 ┆ -0.04608 ┆ 0.8702 ┆ 1.641 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.05078 ┆ 1.291 ┆ -0.05078 ┆ 1.291 ┆ -1.712 ┆ -0.9803 ┆ -0.08569 ┆ 0.9194 ┆ 1.592 ┆ -3.415 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3496265932}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7473 ┆ 0.3293 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1889 ┆ 0.331 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06384 ┆ 0.3397 ┆ 0 ┆ -0.02797 ┆ 0 ┆ -0.009163 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.033405 ┆ 0.018477 ┆ 0.099427 │ │ std ┆ 2.47567 ┆ 2.343536 ┆ 2.27992 │ │ min ┆ -9.344307 ┆ -7.318055 ┆ -6.533898 │ │ 25% ┆ -1.582363 ┆ -1.509511 ┆ -1.482021 │ │ 50% ┆ 0.008041 ┆ 0.003675 ┆ 0.00244 │ │ 75% ┆ 1.703988 ┆ 1.599775 ┆ 1.75918 │ │ max ┆ 7.3889 ┆ 6.817159 ┆ 6.137683 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.033405 ┆ 0.018477 ┆ 0.099427 │ │ std ┆ 2.47567 ┆ 2.343536 ┆ 2.27992 │ │ min ┆ -9.344307 ┆ -7.318055 ┆ -6.533898 │ │ 25% ┆ -1.582363 ┆ -1.509511 ┆ -1.482021 │ │ 50% ┆ 0.008041 ┆ 0.003675 ┆ 0.00244 │ │ 75% ┆ 1.703988 ┆ 1.599775 ┆ 1.75918 │ │ max ┆ 7.3889 ┆ 6.817159 ┆ 6.137683 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1706 ┆ 3 │ │ 75 ┆ 2 │ │ 87 ┆ 2 │ │ 146 ┆ 2 │ │ 185 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05055 ┆ 2.462 ┆ 0.05055 ┆ 2.462 ┆ -3.197 ┆ -1.558 ┆ 0.008041 ┆ 1.711 ┆ 3.296 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03341 ┆ 2.476 ┆ 0.03341 ┆ 2.476 ┆ -3.249 ┆ -1.585 ┆ 0.008041 ┆ 1.704 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1369 ┆ 2.391 ┆ 0.1369 ┆ 2.391 ┆ -2.945 ┆ -1.438 ┆ 0.008041 ┆ 1.779 ┆ 3.321 ┆ -6.478 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3210106760}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4403 ┆ 0.3377 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2827 ┆ 0.3323 ┆ 0 ┆ 0.04897 ┆ 0 ┆ -0.029 │ │ x2 ┆ 0.277 ┆ 0.33 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.027965 ┆ -0.04806 ┆ -0.041287 │ │ std ┆ 1.288576 ┆ 0.943467 ┆ 0.972476 │ │ min ┆ -4.294867 ┆ -2.917177 ┆ -2.677729 │ │ 25% ┆ -0.905823 ┆ -0.671006 ┆ -0.755833 │ │ 50% ┆ -0.051342 ┆ -0.078381 ┆ -0.040085 │ │ 75% ┆ 0.87112 ┆ 0.621807 ┆ 0.67729 │ │ max ┆ 4.045241 ┆ 3.088204 ┆ 2.49125 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.027965 ┆ -0.04806 ┆ -0.041287 │ │ std ┆ 1.288576 ┆ 0.943467 ┆ 0.972476 │ │ min ┆ -4.294867 ┆ -2.917177 ┆ -2.677729 │ │ 25% ┆ -0.905823 ┆ -0.671006 ┆ -0.755833 │ │ 50% ┆ -0.051342 ┆ -0.078381 ┆ -0.040085 │ │ 75% ┆ 0.87112 ┆ 0.621807 ┆ 0.67729 │ │ max ┆ 4.045241 ┆ 3.088204 ┆ 2.49125 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1778 ┆ 3 │ │ 2972 ┆ 3 │ │ 175 ┆ 2 │ │ 185 ┆ 2 │ │ 194 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.03594 ┆ 1.297 ┆ -0.03594 ┆ 1.297 ┆ -1.69 ┆ -0.9232 ┆ -0.06307 ┆ 0.8703 ┆ 1.642 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02797 ┆ 1.289 ┆ -0.02797 ┆ 1.289 ┆ -1.689 ┆ -0.9072 ┆ -0.05199 ┆ 0.8711 ┆ 1.642 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.07498 ┆ 1.336 ┆ -0.07498 ┆ 1.336 ┆ -1.706 ┆ -1.004 ┆ -0.1322 ┆ 0.8702 ┆ 1.636 ┆ -3.656 ┆ 3.867 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2682051773}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7596 ┆ 0.3113 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.174 ┆ 0.3357 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06637 ┆ 0.353 ┆ 0 ┆ -0.03291 ┆ 0 ┆ -0.02191 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04897 ┆ 0.060248 ┆ 0.101443 │ │ std ┆ 2.463622 ┆ 2.321873 ┆ 2.264194 │ │ min ┆ -9.344307 ┆ -7.210327 ┆ -6.903105 │ │ 25% ┆ -1.531871 ┆ -1.423071 ┆ -1.379806 │ │ 50% ┆ 0.01105 ┆ 0.068793 ┆ 0.062402 │ │ 75% ┆ 1.710033 ┆ 1.636602 ┆ 1.619825 │ │ max ┆ 7.3889 ┆ 6.735965 ┆ 6.193256 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04897 ┆ 0.060248 ┆ 0.101443 │ │ std ┆ 2.463622 ┆ 2.321873 ┆ 2.264194 │ │ min ┆ -9.344307 ┆ -7.210327 ┆ -6.903105 │ │ 25% ┆ -1.531871 ┆ -1.423071 ┆ -1.379806 │ │ 50% ┆ 0.01105 ┆ 0.068793 ┆ 0.062402 │ │ 75% ┆ 1.710033 ┆ 1.636602 ┆ 1.619825 │ │ max ┆ 7.3889 ┆ 6.735965 ┆ 6.193256 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 504 ┆ 3 │ │ 104 ┆ 2 │ │ 143 ┆ 2 │ │ 161 ┆ 2 │ │ 184 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.06162 ┆ 2.456 ┆ 0.06162 ┆ 2.456 ┆ -3.142 ┆ -1.516 ┆ 0.004367 ┆ 1.727 ┆ 3.306 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04897 ┆ 2.464 ┆ 0.04897 ┆ 2.464 ┆ -3.21 ┆ -1.532 ┆ 0.009659 ┆ 1.71 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1253 ┆ 2.417 ┆ 0.1253 ┆ 2.417 ┆ -2.965 ┆ -1.425 ┆ -0.07262 ┆ 1.773 ┆ 3.396 ┆ -7.356 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1158638313}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.3891 ┆ 0.308 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3261 ┆ 0.3603 ┆ 0 ┆ 0.04667 ┆ 0 ┆ -0.04951 │ │ x2 ┆ 0.2849 ┆ 0.3317 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.032909 ┆ -0.0337 ┆ -0.069938 │ │ std ┆ 1.297989 ┆ 0.924316 ┆ 0.964325 │ │ min ┆ -4.294867 ┆ -3.068641 ┆ -3.068641 │ │ 25% ┆ -0.909573 ┆ -0.691958 ┆ -0.752338 │ │ 50% ┆ -0.05898 ┆ -0.052758 ┆ -0.0549 │ │ 75% ┆ 0.868993 ┆ 0.632074 ┆ 0.638613 │ │ max ┆ 4.045241 ┆ 3.307874 ┆ 2.622852 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.032909 ┆ -0.0337 ┆ -0.069938 │ │ std ┆ 1.297989 ┆ 0.924316 ┆ 0.964325 │ │ min ┆ -4.294867 ┆ -3.068641 ┆ -3.068641 │ │ 25% ┆ -0.909573 ┆ -0.691958 ┆ -0.752338 │ │ 50% ┆ -0.05898 ┆ -0.052758 ┆ -0.0549 │ │ 75% ┆ 0.868993 ┆ 0.632074 ┆ 0.638613 │ │ max ┆ 4.045241 ┆ 3.307874 ┆ 2.622852 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1605 ┆ 3 │ │ 1688 ┆ 3 │ │ 2270 ┆ 3 │ │ 55 ┆ 2 │ │ 225 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.04269 ┆ 1.302 ┆ -0.04269 ┆ 1.302 ┆ -1.69 ┆ -0.9246 ┆ -0.06178 ┆ 0.867 ┆ 1.639 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.03291 ┆ 1.298 ┆ -0.03291 ┆ 1.298 ┆ -1.669 ┆ -0.9109 ┆ -0.05898 ┆ 0.869 ┆ 1.645 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.09058 ┆ 1.323 ┆ -0.09058 ┆ 1.323 ┆ -1.775 ┆ -1.007 ┆ -0.06178 ┆ 0.8624 ┆ 1.522 ┆ -4.295 ┆ 3.52 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1319418297}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬─────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪═════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7588 ┆ 0.3257 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1754 ┆ 0.3507 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06576 ┆ 0.3237 ┆ 0 ┆ -0.0361 ┆ 0 ┆ -0.02113 │ └─────────┴─────────┴───────────┴─────────────────┴─────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04667 ┆ 0.036475 ┆ 0.100436 │ │ std ┆ 2.468628 ┆ 2.343188 ┆ 2.273906 │ │ min ┆ -9.344307 ┆ -7.936243 ┆ -7.067008 │ │ 25% ┆ -1.53204 ┆ -1.491406 ┆ -1.348511 │ │ 50% ┆ 0.002043 ┆ 0.038884 ┆ -0.031095 │ │ 75% ┆ 1.710517 ┆ 1.597146 ┆ 1.708379 │ │ max ┆ 7.3889 ┆ 6.984569 ┆ 6.228036 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04667 ┆ 0.036475 ┆ 0.100436 │ │ std ┆ 2.468628 ┆ 2.343188 ┆ 2.273906 │ │ min ┆ -9.344307 ┆ -7.936243 ┆ -7.067008 │ │ 25% ┆ -1.53204 ┆ -1.491406 ┆ -1.348511 │ │ 50% ┆ 0.002043 ┆ 0.038884 ┆ -0.031095 │ │ 75% ┆ 1.710517 ┆ 1.597146 ┆ 1.708379 │ │ max ┆ 7.3889 ┆ 6.984569 ┆ 6.228036 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2506 ┆ 3 │ │ 2968 ┆ 3 │ │ 134 ┆ 2 │ │ 145 ┆ 2 │ │ 219 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.06126 ┆ 2.457 ┆ 0.06126 ┆ 2.457 ┆ -3.125 ┆ -1.5 ┆ -0.007669 ┆ 1.726 ┆ 3.311 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04667 ┆ 2.469 ┆ 0.04667 ┆ 2.469 ┆ -3.231 ┆ -1.535 ┆ 0.001001 ┆ 1.711 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1347 ┆ 2.397 ┆ 0.1347 ┆ 2.397 ┆ -2.896 ┆ -1.37 ┆ -0.03004 ┆ 1.727 ┆ 3.405 ┆ -8.684 ┆ 6.449 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1366383473}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4078 ┆ 0.339 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3269 ┆ 0.3303 ┆ 0 ┆ 0.04854 ┆ 0 ┆ -0.0204 │ │ x2 ┆ 0.2653 ┆ 0.3307 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.036097 ┆ -0.045792 ┆ -0.055792 │ │ std ┆ 1.295305 ┆ 0.931559 ┆ 0.975829 │ │ min ┆ -4.294867 ┆ -3.703908 ┆ -3.146892 │ │ 25% ┆ -0.907632 ┆ -0.673012 ┆ -0.706693 │ │ 50% ┆ -0.046463 ┆ -0.06047 ┆ -0.106399 │ │ 75% ┆ 0.867027 ┆ 0.574809 ┆ 0.617487 │ │ max ┆ 4.045241 ┆ 3.078963 ┆ 3.078963 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.036097 ┆ -0.045792 ┆ -0.055792 │ │ std ┆ 1.295305 ┆ 0.931559 ┆ 0.975829 │ │ min ┆ -4.294867 ┆ -3.703908 ┆ -3.146892 │ │ 25% ┆ -0.907632 ┆ -0.673012 ┆ -0.706693 │ │ 50% ┆ -0.046463 ┆ -0.06047 ┆ -0.106399 │ │ 75% ┆ 0.867027 ┆ 0.574809 ┆ 0.617487 │ │ max ┆ 4.045241 ┆ 3.078963 ┆ 3.078963 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 258 ┆ 3 │ │ 265 ┆ 3 │ │ 1803 ┆ 3 │ │ 2492 ┆ 3 │ │ 92 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.04474 ┆ 1.294 ┆ -0.04474 ┆ 1.294 ┆ -1.695 ┆ -0.9241 ┆ -0.04646 ┆ 0.8627 ┆ 1.633 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.0361 ┆ 1.295 ┆ -0.0361 ┆ 1.295 ┆ -1.688 ┆ -0.9095 ┆ -0.04646 ┆ 0.867 ┆ 1.639 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.08703 ┆ 1.285 ┆ -0.08703 ┆ 1.285 ┆ -1.775 ┆ -0.9804 ┆ -0.04646 ┆ 0.8477 ┆ 1.471 ┆ -3.516 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 834624039}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7372 ┆ 0.306 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1909 ┆ 0.333 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07192 ┆ 0.361 ┆ 0 ┆ -0.03537 ┆ 0 ┆ -0.01746 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.048541 ┆ 0.056975 ┆ 0.123931 │ │ std ┆ 2.464865 ┆ 2.337174 ┆ 2.26296 │ │ min ┆ -9.344307 ┆ -8.402195 ┆ -7.74547 │ │ 25% ┆ -1.516809 ┆ -1.425736 ┆ -1.317293 │ │ 50% ┆ 0.008964 ┆ 0.051935 ┆ 0.023916 │ │ 75% ┆ 1.710033 ┆ 1.643045 ┆ 1.711466 │ │ max ┆ 7.3889 ┆ 6.709528 ┆ 5.625867 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.048541 ┆ 0.056975 ┆ 0.123931 │ │ std ┆ 2.464865 ┆ 2.337174 ┆ 2.26296 │ │ min ┆ -9.344307 ┆ -8.402195 ┆ -7.74547 │ │ 25% ┆ -1.516809 ┆ -1.425736 ┆ -1.317293 │ │ 50% ┆ 0.008964 ┆ 0.051935 ┆ 0.023916 │ │ 75% ┆ 1.710033 ┆ 1.643045 ┆ 1.711466 │ │ max ┆ 7.3889 ┆ 6.709528 ┆ 5.625867 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1492 ┆ 3 │ │ 2114 ┆ 3 │ │ 2209 ┆ 3 │ │ 2811 ┆ 3 │ │ 49 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.0577 ┆ 2.456 ┆ 0.0577 ┆ 2.456 ┆ -3.125 ┆ -1.53 ┆ 0.008964 ┆ 1.727 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04854 ┆ 2.465 ┆ 0.04854 ┆ 2.465 ┆ -3.21 ┆ -1.521 ┆ 0.008041 ┆ 1.71 ┆ 3.3 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1038 ┆ 2.413 ┆ 0.1038 ┆ 2.413 ┆ -2.981 ┆ -1.565 ┆ 0.008964 ┆ 1.842 ┆ 3.329 ┆ -6.427 ┆ 5.85 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 73339271}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4016 ┆ 0.3167 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3263 ┆ 0.3513 ┆ 0 ┆ 0.0424 ┆ 0 ┆ -0.04818 │ │ x2 ┆ 0.2721 ┆ 0.332 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.035372 ┆ -0.0248 ┆ -0.032713 │ │ std ┆ 1.287629 ┆ 0.937748 ┆ 0.974276 │ │ min ┆ -4.294867 ┆ -3.279771 ┆ -2.40325 │ │ 25% ┆ -0.909573 ┆ -0.645636 ┆ -0.645636 │ │ 50% ┆ -0.040102 ┆ -0.054658 ┆ -0.039538 │ │ 75% ┆ 0.862733 ┆ 0.602744 ┆ 0.597468 │ │ max ┆ 4.045241 ┆ 2.876997 ┆ 2.876997 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.035372 ┆ -0.0248 ┆ -0.032713 │ │ std ┆ 1.287629 ┆ 0.937748 ┆ 0.974276 │ │ min ┆ -4.294867 ┆ -3.279771 ┆ -2.40325 │ │ 25% ┆ -0.909573 ┆ -0.645636 ┆ -0.645636 │ │ 50% ┆ -0.040102 ┆ -0.054658 ┆ -0.039538 │ │ 75% ┆ 0.862733 ┆ 0.602744 ┆ 0.597468 │ │ max ┆ 4.045241 ┆ 2.876997 ┆ 2.876997 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 11 ┆ 3 │ │ 179 ┆ 3 │ │ 110 ┆ 2 │ │ 146 ┆ 2 │ │ 289 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01813 ┆ 1.3 ┆ -0.01813 ┆ 1.3 ┆ -1.669 ┆ -0.8947 ┆ -0.02411 ┆ 0.8788 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.03537 ┆ 1.288 ┆ -0.03537 ┆ 1.288 ┆ -1.687 ┆ -0.9109 ┆ -0.04046 ┆ 0.8627 ┆ 1.636 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.06628 ┆ 1.358 ┆ 0.06628 ┆ 1.358 ┆ -1.666 ┆ -0.8231 ┆ 0.06686 ┆ 0.9852 ┆ 1.921 ┆ -3.468 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1230847578}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬───────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪═══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7404 ┆ 0.3183 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1804 ┆ 0.3327 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07918 ┆ 0.349 ┆ 0 ┆ -0.004046 ┆ 0 ┆ 0.002252 │ └─────────┴─────────┴───────────┴─────────────────┴───────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.042398 ┆ 0.056455 ┆ 0.11845 │ │ std ┆ 2.467826 ┆ 2.339102 ┆ 2.267028 │ │ min ┆ -9.344307 ┆ -7.24705 ┆ -6.215947 │ │ 25% ┆ -1.567079 ┆ -1.478002 ┆ -1.413147 │ │ 50% ┆ 0.011581 ┆ 0.045718 ┆ 0.042334 │ │ 75% ┆ 1.726937 ┆ 1.671725 ┆ 1.748178 │ │ max ┆ 7.3889 ┆ 6.855466 ┆ 5.573646 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.042398 ┆ 0.056455 ┆ 0.11845 │ │ std ┆ 2.467826 ┆ 2.339102 ┆ 2.267028 │ │ min ┆ -9.344307 ┆ -7.24705 ┆ -6.215947 │ │ 25% ┆ -1.567079 ┆ -1.478002 ┆ -1.413147 │ │ 50% ┆ 0.011581 ┆ 0.045718 ┆ 0.042334 │ │ 75% ┆ 1.726937 ┆ 1.671725 ┆ 1.748178 │ │ max ┆ 7.3889 ┆ 6.855466 ┆ 5.573646 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1966 ┆ 3 │ │ 21 ┆ 2 │ │ 26 ┆ 2 │ │ 115 ┆ 2 │ │ 208 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05414 ┆ 2.455 ┆ 0.05414 ┆ 2.455 ┆ -3.142 ┆ -1.565 ┆ 0.01158 ┆ 1.73 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.0424 ┆ 2.468 ┆ 0.0424 ┆ 2.468 ┆ -3.197 ┆ -1.567 ┆ 0.01105 ┆ 1.727 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1132 ┆ 2.394 ┆ 0.1132 ┆ 2.394 ┆ -2.889 ┆ -1.532 ┆ 0.01361 ┆ 1.805 ┆ 3.392 ┆ -6.49 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3819110409}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4268 ┆ 0.339 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3486 ┆ 0.3257 ┆ 0 ┆ 0.04428 ┆ 0 ┆ -0.03751 │ │ x2 ┆ 0.2246 ┆ 0.3353 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.004046 ┆ -0.004262 ┆ -0.001098 │ │ std ┆ 1.30289 ┆ 0.94166 ┆ 0.98532 │ │ min ┆ -4.294867 ┆ -3.050074 ┆ -2.660823 │ │ 25% ┆ -0.879166 ┆ -0.624402 ┆ -0.617606 │ │ 50% ┆ -0.022028 ┆ -0.065462 ┆ -0.090712 │ │ 75% ┆ 0.889898 ┆ 0.654363 ┆ 0.690519 │ │ max ┆ 4.045241 ┆ 3.206892 ┆ 2.780602 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.004046 ┆ -0.004262 ┆ -0.001098 │ │ std ┆ 1.30289 ┆ 0.94166 ┆ 0.98532 │ │ min ┆ -4.294867 ┆ -3.050074 ┆ -2.660823 │ │ 25% ┆ -0.879166 ┆ -0.624402 ┆ -0.617606 │ │ 50% ┆ -0.022028 ┆ -0.065462 ┆ -0.090712 │ │ 75% ┆ 0.889898 ┆ 0.654363 ┆ 0.690519 │ │ max ┆ 4.045241 ┆ 3.206892 ┆ 2.780602 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 562 ┆ 3 │ │ 890 ┆ 3 │ │ 1318 ┆ 3 │ │ 1372 ┆ 3 │ │ 1751 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.006838 ┆ 1.311 ┆ -0.006838 ┆ 1.311 ┆ -1.665 ┆ -0.8834 ┆ -0.03672 ┆ 0.8913 ┆ 1.708 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.004046 ┆ 1.303 ┆ -0.004046 ┆ 1.303 ┆ -1.662 ┆ -0.8797 ┆ -0.02244 ┆ 0.8899 ┆ 1.681 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.0205 ┆ 1.353 ┆ -0.0205 ┆ 1.353 ┆ -1.695 ┆ -0.9015 ┆ -0.08655 ┆ 0.9031 ┆ 1.764 ┆ -3.656 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2260768627}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7409 ┆ 0.3117 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1842 ┆ 0.3337 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07496 ┆ 0.3547 ┆ 0 ┆ -0.02178 ┆ 0 ┆ 0.01176 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.044276 ┆ 0.034839 ┆ 0.093275 │ │ std ┆ 2.46404 ┆ 2.346902 ┆ 2.267242 │ │ min ┆ -9.344307 ┆ -8.686232 ┆ -6.397847 │ │ 25% ┆ -1.565075 ┆ -1.507588 ┆ -1.495885 │ │ 50% ┆ 0.013614 ┆ -0.055591 ┆ -0.076402 │ │ 75% ┆ 1.710033 ┆ 1.632766 ┆ 1.662845 │ │ max ┆ 7.3889 ┆ 7.039264 ┆ 6.206728 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.044276 ┆ 0.034839 ┆ 0.093275 │ │ std ┆ 2.46404 ┆ 2.346902 ┆ 2.267242 │ │ min ┆ -9.344307 ┆ -8.686232 ┆ -6.397847 │ │ 25% ┆ -1.565075 ┆ -1.507588 ┆ -1.495885 │ │ 50% ┆ 0.013614 ┆ -0.055591 ┆ -0.076402 │ │ 75% ┆ 1.710033 ┆ 1.632766 ┆ 1.662845 │ │ max ┆ 7.3889 ┆ 7.039264 ┆ 6.206728 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 613 ┆ 3 │ │ 17 ┆ 2 │ │ 36 ┆ 2 │ │ 125 ┆ 2 │ │ 219 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05814 ┆ 2.45 ┆ 0.05814 ┆ 2.45 ┆ -3.091 ┆ -1.567 ┆ 0.01574 ┆ 1.719 ┆ 3.318 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04428 ┆ 2.464 ┆ 0.04428 ┆ 2.464 ┆ -3.237 ┆ -1.567 ┆ 0.01361 ┆ 1.71 ┆ 3.3 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1279 ┆ 2.38 ┆ 0.1279 ┆ 2.38 ┆ -2.719 ┆ -1.567 ┆ 0.02549 ┆ 1.727 ┆ 3.392 ┆ -6.226 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1652442857}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4145 ┆ 0.327 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3243 ┆ 0.3357 ┆ 0 ┆ 0.0472 ┆ 0 ┆ -0.01997 │ │ x2 ┆ 0.2612 ┆ 0.3373 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.021777 ┆ -0.03083 ┆ -0.039226 │ │ std ┆ 1.301399 ┆ 0.952798 ┆ 1.022706 │ │ min ┆ -4.294867 ┆ -3.027787 ┆ -2.741393 │ │ 25% ┆ -0.89214 ┆ -0.662177 ┆ -0.711405 │ │ 50% ┆ -0.051089 ┆ -0.069654 ┆ -0.091064 │ │ 75% ┆ 0.87112 ┆ 0.626301 ┆ 0.712048 │ │ max ┆ 4.045241 ┆ 3.207383 ┆ 3.024675 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.021777 ┆ -0.03083 ┆ -0.039226 │ │ std ┆ 1.301399 ┆ 0.952798 ┆ 1.022706 │ │ min ┆ -4.294867 ┆ -3.027787 ┆ -2.741393 │ │ 25% ┆ -0.89214 ┆ -0.662177 ┆ -0.711405 │ │ 50% ┆ -0.051089 ┆ -0.069654 ┆ -0.091064 │ │ 75% ┆ 0.87112 ┆ 0.626301 ┆ 0.712048 │ │ max ┆ 4.045241 ┆ 3.207383 ┆ 3.024675 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 69 ┆ 3 │ │ 2145 ┆ 3 │ │ 2207 ┆ 3 │ │ 25 ┆ 2 │ │ 43 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02564 ┆ 1.309 ┆ -0.02564 ┆ 1.309 ┆ -1.69 ┆ -0.8947 ┆ -0.05655 ┆ 0.8761 ┆ 1.672 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02178 ┆ 1.301 ┆ -0.02178 ┆ 1.301 ┆ -1.665 ┆ -0.8924 ┆ -0.05134 ┆ 0.8711 ┆ 1.671 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.04454 ┆ 1.347 ┆ -0.04454 ┆ 1.347 ┆ -1.759 ┆ -0.9072 ┆ -0.08025 ┆ 0.912 ┆ 1.672 ┆ -4.295 ┆ 3.447 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3037805205}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7391 ┆ 0.3083 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.185 ┆ 0.337 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07594 ┆ 0.3547 ┆ 0 ┆ -0.02669 ┆ 0 ┆ -0.005888 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.047195 ┆ 0.038147 ┆ 0.098327 │ │ std ┆ 2.461515 ┆ 2.321646 ┆ 2.269024 │ │ min ┆ -9.344307 ┆ -6.811043 ┆ -6.141103 │ │ 25% ┆ -1.567079 ┆ -1.499005 ┆ -1.475683 │ │ 50% ┆ 0.015743 ┆ -0.01148 ┆ -0.047542 │ │ 75% ┆ 1.704261 ┆ 1.619396 ┆ 1.690389 │ │ max ┆ 7.3889 ┆ 6.865906 ┆ 5.86179 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.047195 ┆ 0.038147 ┆ 0.098327 │ │ std ┆ 2.461515 ┆ 2.321646 ┆ 2.269024 │ │ min ┆ -9.344307 ┆ -6.811043 ┆ -6.141103 │ │ 25% ┆ -1.567079 ┆ -1.499005 ┆ -1.475683 │ │ 50% ┆ 0.015743 ┆ -0.01148 ┆ -0.047542 │ │ 75% ┆ 1.704261 ┆ 1.619396 ┆ 1.690389 │ │ max ┆ 7.3889 ┆ 6.865906 ┆ 5.86179 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1116 ┆ 3 │ │ 305 ┆ 2 │ │ 316 ┆ 2 │ │ 389 ┆ 2 │ │ 492 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05806 ┆ 2.458 ┆ 0.05806 ┆ 2.458 ┆ -3.067 ┆ -1.569 ┆ 0.009659 ┆ 1.726 ┆ 3.329 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.0472 ┆ 2.462 ┆ 0.0472 ┆ 2.462 ┆ -3.15 ┆ -1.569 ┆ 0.01574 ┆ 1.704 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1127 ┆ 2.441 ┆ 0.1127 ┆ 2.441 ┆ -2.864 ┆ -1.569 ┆ -0.04267 ┆ 1.813 ┆ 3.591 ┆ -6.705 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 234802012}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4215 ┆ 0.3293 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3027 ┆ 0.351 ┆ 0 ┆ 0.04418 ┆ 0 ┆ -0.03099 │ │ x2 ┆ 0.2758 ┆ 0.3197 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.02669 ┆ -0.055072 ┆ -0.0547 │ │ std ┆ 1.300173 ┆ 0.950191 ┆ 1.00575 │ │ min ┆ -4.294867 ┆ -3.111522 ┆ -3.111522 │ │ 25% ┆ -0.894703 ┆ -0.659838 ┆ -0.709535 │ │ 50% ┆ -0.048893 ┆ -0.110421 ┆ -0.043796 │ │ 75% ┆ 0.87018 ┆ 0.616847 ┆ 0.656431 │ │ max ┆ 4.045241 ┆ 2.949621 ┆ 2.717018 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.02669 ┆ -0.055072 ┆ -0.0547 │ │ std ┆ 1.300173 ┆ 0.950191 ┆ 1.00575 │ │ min ┆ -4.294867 ┆ -3.111522 ┆ -3.111522 │ │ 25% ┆ -0.894703 ┆ -0.659838 ┆ -0.709535 │ │ 50% ┆ -0.048893 ┆ -0.110421 ┆ -0.043796 │ │ 75% ┆ 0.87018 ┆ 0.616847 ┆ 0.656431 │ │ max ┆ 4.045241 ┆ 2.949621 ┆ 2.717018 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 282 ┆ 3 │ │ 297 ┆ 3 │ │ 1547 ┆ 3 │ │ 27 ┆ 2 │ │ 78 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02779 ┆ 1.306 ┆ -0.02779 ┆ 1.306 ┆ -1.695 ┆ -0.9076 ┆ -0.03271 ┆ 0.8832 ┆ 1.655 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02669 ┆ 1.3 ┆ -0.02669 ┆ 1.3 ┆ -1.689 ┆ -0.8947 ┆ -0.05109 ┆ 0.8702 ┆ 1.662 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.03319 ┆ 1.337 ┆ -0.03319 ┆ 1.337 ┆ -1.706 ┆ -1.009 ┆ 0.04056 ┆ 0.9218 ┆ 1.579 ┆ -4.285 ┆ 3.574 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2602301801}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.752 ┆ 0.3037 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1801 ┆ 0.3537 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06791 ┆ 0.3427 ┆ 0 ┆ -0.02437 ┆ 0 ┆ -0.02574 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.044179 ┆ 0.054414 ┆ 0.098193 │ │ std ┆ 2.473234 ┆ 2.345738 ┆ 2.288514 │ │ min ┆ -9.344307 ┆ -6.530891 ┆ -6.161431 │ │ 25% ┆ -1.568774 ┆ -1.432551 ┆ -1.366865 │ │ 50% ┆ 0.008041 ┆ 0.031139 ┆ -0.013773 │ │ 75% ┆ 1.710517 ┆ 1.677156 ┆ 1.695417 │ │ max ┆ 7.3889 ┆ 6.57718 ┆ 5.914701 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.044179 ┆ 0.054414 ┆ 0.098193 │ │ std ┆ 2.473234 ┆ 2.345738 ┆ 2.288514 │ │ min ┆ -9.344307 ┆ -6.530891 ┆ -6.161431 │ │ 25% ┆ -1.568774 ┆ -1.432551 ┆ -1.366865 │ │ 50% ┆ 0.008041 ┆ 0.031139 ┆ -0.013773 │ │ 75% ┆ 1.710517 ┆ 1.677156 ┆ 1.695417 │ │ max ┆ 7.3889 ┆ 6.57718 ┆ 5.914701 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1728 ┆ 3 │ │ 2394 ┆ 3 │ │ 2666 ┆ 3 │ │ 0 ┆ 2 │ │ 19 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04701 ┆ 2.461 ┆ 0.04701 ┆ 2.461 ┆ -3.059 ┆ -1.569 ┆ -0.01347 ┆ 1.711 ┆ 3.326 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04418 ┆ 2.473 ┆ 0.04418 ┆ 2.473 ┆ -3.142 ┆ -1.569 ┆ 0.005581 ┆ 1.711 ┆ 3.313 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.06128 ┆ 2.4 ┆ 0.06128 ┆ 2.4 ┆ -2.831 ┆ -1.569 ┆ -0.09163 ┆ 1.71 ┆ 3.404 ┆ -8.684 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2930465735}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4299 ┆ 0.3287 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3599 ┆ 0.3453 ┆ 0 ┆ 0.03395 ┆ 0 ┆ -0.06792 │ │ x2 ┆ 0.2102 ┆ 0.326 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.024371 ┆ 0.010964 ┆ -0.016452 │ │ std ┆ 1.298085 ┆ 0.947511 ┆ 1.023233 │ │ min ┆ -4.294867 ┆ -2.88413 ┆ -2.630173 │ │ 25% ┆ -0.907632 ┆ -0.644088 ┆ -0.783429 │ │ 50% ┆ -0.022438 ┆ 0.002562 ┆ 0.002754 │ │ 75% ┆ 0.87112 ┆ 0.676829 ┆ 0.757494 │ │ max ┆ 4.045241 ┆ 3.101367 ┆ 2.632557 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.024371 ┆ 0.010964 ┆ -0.016452 │ │ std ┆ 1.298085 ┆ 0.947511 ┆ 1.023233 │ │ min ┆ -4.294867 ┆ -2.88413 ┆ -2.630173 │ │ 25% ┆ -0.907632 ┆ -0.644088 ┆ -0.783429 │ │ 50% ┆ -0.022438 ┆ 0.002562 ┆ 0.002754 │ │ 75% ┆ 0.87112 ┆ 0.676829 ┆ 0.757494 │ │ max ┆ 4.045241 ┆ 3.101367 ┆ 2.632557 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 203 ┆ 3 │ │ 793 ┆ 3 │ │ 1645 ┆ 3 │ │ 1948 ┆ 3 │ │ 2137 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.03682 ┆ 1.317 ┆ -0.03682 ┆ 1.317 ┆ -1.704 ┆ -0.9605 ┆ -0.03736 ┆ 0.8913 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02437 ┆ 1.298 ┆ -0.02437 ┆ 1.298 ┆ -1.666 ┆ -0.9095 ┆ -0.0239 ┆ 0.8711 ┆ 1.645 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.09773 ┆ 1.404 ┆ -0.09773 ┆ 1.404 ┆ -1.832 ┆ -1.153 ┆ -0.1017 ┆ 0.936 ┆ 1.681 ┆ -3.867 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
y1
y2
Final Estimates by Iteration
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/1.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3720070777}
Iterations: 100
Model: y1=f(x1, x2, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7954 ┆ 0.491 ┆ 0 ┆ 0.01674 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.2046 ┆ 0.509 ┆ 0 ┆ 0.003833 ┆ 0 ┆ 0.01459 │ └─────────┴────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.029592 ┆ 0.096973 │ │ std ┆ 2.481378 ┆ 2.29534 ┆ 2.232113 │ │ min ┆ -9.344307 ┆ -6.82037 ┆ -5.701315 │ │ 25% ┆ -1.568774 ┆ -1.419255 ┆ -1.366289 │ │ 50% ┆ 0.013614 ┆ -0.011412 ┆ 0.036078 │ │ 75% ┆ 1.693908 ┆ 1.590483 ┆ 1.589422 │ │ max ┆ 7.3889 ┆ 6.689549 ┆ 6.049341 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.029592 ┆ 0.096973 │ │ std ┆ 2.481378 ┆ 2.29534 ┆ 2.232113 │ │ min ┆ -9.344307 ┆ -6.82037 ┆ -5.701315 │ │ 25% ┆ -1.568774 ┆ -1.419255 ┆ -1.366289 │ │ 50% ┆ 0.013614 ┆ -0.011412 ┆ 0.036078 │ │ 75% ┆ 1.693908 ┆ 1.590483 ┆ 1.589422 │ │ max ┆ 7.3889 ┆ 6.689549 ┆ 6.049341 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 226 ┆ 3 │ │ 305 ┆ 3 │ │ 727 ┆ 3 │ │ 1325 ┆ 3 │ │ 1719 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3000 ┆ 3000 ┆ 0.05506 ┆ 2.456 ┆ 0.05506 ┆ 2.456 ┆ -3.17 ┆ -1.532 ┆ 0.04636 ┆ 1.704 ┆ 3.296 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 2404 ┆ 2404 ┆ 0.02718 ┆ 2.481 ┆ 0.02718 ┆ 2.481 ┆ -3.259 ┆ -1.573 ┆ 0.01158 ┆ 1.694 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1675 ┆ 2.352 ┆ 0.1675 ┆ 2.352 ┆ -2.805 ┆ -1.451 ┆ 0.1557 ┆ 1.73 ┆ 3.473 ┆ -6.226 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3864689362}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.375 ┆ 0.337 ┆ 0 ┆ 0.03035 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.3291 ┆ 0.3417 ┆ 0 ┆ 0.00414 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2959 ┆ 0.3213 ┆ 0 ┆ 0.07509 ┆ 0 ┆ -0.02294 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.011709 ┆ -0.022426 │ │ std ┆ 1.288127 ┆ 0.883865 ┆ 0.868582 │ │ min ┆ -4.294867 ┆ -2.93672 ┆ -2.530511 │ │ 25% ┆ -0.891405 ┆ -0.583801 ┆ -0.606183 │ │ 50% ┆ -0.040102 ┆ -0.05393 ┆ -0.06478 │ │ 75% ┆ 0.868993 ┆ 0.61092 ┆ 0.60961 │ │ max ┆ 4.045241 ┆ 3.137142 ┆ 2.512322 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.011709 ┆ -0.022426 │ │ std ┆ 1.288127 ┆ 0.883865 ┆ 0.868582 │ │ min ┆ -4.294867 ┆ -2.93672 ┆ -2.530511 │ │ 25% ┆ -0.891405 ┆ -0.583801 ┆ -0.606183 │ │ 50% ┆ -0.040102 ┆ -0.05393 ┆ -0.06478 │ │ 75% ┆ 0.868993 ┆ 0.61092 ┆ 0.60961 │ │ max ┆ 4.045241 ┆ 3.137142 ┆ 2.512322 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 171 ┆ 3 │ │ 245 ┆ 3 │ │ 623 ┆ 3 │ │ 1683 ┆ 3 │ │ 2044 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3000 ┆ 3000 ┆ -0.02511 ┆ 1.297 ┆ -0.02511 ┆ 1.297 ┆ -1.688 ┆ -0.8947 ┆ -0.03591 ┆ 0.867 ┆ 1.669 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 2387 ┆ 2387 ┆ -0.02211 ┆ 1.288 ┆ -0.02211 ┆ 1.288 ┆ -1.653 ┆ -0.8914 ┆ -0.0401 ┆ 0.869 ┆ 1.658 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.03681 ┆ 1.33 ┆ -0.03681 ┆ 1.33 ┆ -1.802 ┆ -0.9232 ┆ -0.0109 ┆ 0.8477 ┆ 1.773 ┆ -3.867 ┆ 3.52 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 880066399}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7563 ┆ 0.3283 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1864 ┆ 0.3473 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.05731 ┆ 0.3243 ┆ 0 ┆ -0.02511 ┆ 0 ┆ 0.004608 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.055062 ┆ 0.06094 ┆ 0.150527 │ │ std ┆ 2.456493 ┆ 2.289562 ┆ 2.209848 │ │ min ┆ -9.344307 ┆ -7.737835 ┆ -6.319863 │ │ 25% ┆ -1.53204 ┆ -1.417849 ┆ -1.293011 │ │ 50% ┆ 0.047402 ┆ 0.116962 ┆ 0.122663 │ │ 75% ┆ 1.703988 ┆ 1.564069 ┆ 1.618731 │ │ max ┆ 7.3889 ┆ 6.293703 ┆ 5.784806 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.055062 ┆ 0.06094 ┆ 0.150527 │ │ std ┆ 2.456493 ┆ 2.289562 ┆ 2.209848 │ │ min ┆ -9.344307 ┆ -7.737835 ┆ -6.319863 │ │ 25% ┆ -1.53204 ┆ -1.417849 ┆ -1.293011 │ │ 50% ┆ 0.047402 ┆ 0.116962 ┆ 0.122663 │ │ 75% ┆ 1.703988 ┆ 1.564069 ┆ 1.618731 │ │ max ┆ 7.3889 ┆ 6.293703 ┆ 5.784806 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 222 ┆ 3 │ │ 1731 ┆ 3 │ │ 2291 ┆ 3 │ │ 2450 ┆ 3 │ │ 3 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.06176 ┆ 2.433 ┆ 0.06176 ┆ 2.433 ┆ -3.15 ┆ -1.5 ┆ 0.02967 ┆ 1.679 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.05506 ┆ 2.456 ┆ 0.05506 ┆ 2.456 ┆ -3.197 ┆ -1.532 ┆ 0.04636 ┆ 1.704 ┆ 3.296 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.09548 ┆ 2.312 ┆ 0.09548 ┆ 2.312 ┆ -3.059 ┆ -1.414 ┆ 0.005581 ┆ 1.532 ┆ 3.189 ┆ -6.427 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2334136420}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4142 ┆ 0.3303 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3096 ┆ 0.3413 ┆ 0 ┆ 0.04075 ┆ 0 ┆ -0.03647 │ │ x2 ┆ 0.2762 ┆ 0.3283 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.025111 ┆ -0.009523 ┆ -0.018416 │ │ std ┆ 1.296646 ┆ 0.933763 ┆ 0.961257 │ │ min ┆ -4.294867 ┆ -2.688326 ┆ -2.688326 │ │ 25% ┆ -0.892413 ┆ -0.642465 ┆ -0.648014 │ │ 50% ┆ -0.032712 ┆ -0.044676 ┆ -0.084674 │ │ 75% ┆ 0.867027 ┆ 0.645047 ┆ 0.647561 │ │ max ┆ 4.045241 ┆ 3.233972 ┆ 2.839247 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.025111 ┆ -0.009523 ┆ -0.018416 │ │ std ┆ 1.296646 ┆ 0.933763 ┆ 0.961257 │ │ min ┆ -4.294867 ┆ -2.688326 ┆ -2.688326 │ │ 25% ┆ -0.892413 ┆ -0.642465 ┆ -0.648014 │ │ 50% ┆ -0.032712 ┆ -0.044676 ┆ -0.084674 │ │ 75% ┆ 0.867027 ┆ 0.645047 ┆ 0.647561 │ │ max ┆ 4.045241 ┆ 3.233972 ┆ 2.839247 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1231 ┆ 3 │ │ 6 ┆ 2 │ │ 65 ┆ 2 │ │ 115 ┆ 2 │ │ 140 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.0327 ┆ 1.302 ┆ -0.0327 ┆ 1.302 ┆ -1.688 ┆ -0.905 ┆ -0.03271 ┆ 0.8682 ┆ 1.671 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02511 ┆ 1.297 ┆ -0.02511 ┆ 1.297 ┆ -1.688 ┆ -0.8947 ┆ -0.03591 ┆ 0.867 ┆ 1.669 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.06983 ┆ 1.331 ┆ -0.06983 ┆ 1.331 ┆ -1.69 ┆ -0.9738 ┆ -0.02971 ┆ 0.8836 ┆ 1.671 ┆ -3.656 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1271911860}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7475 ┆ 0.3 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1881 ┆ 0.3497 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06444 ┆ 0.3503 ┆ 0 ┆ -0.03186 ┆ 0 ┆ -0.02187 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04075 ┆ 0.045081 ┆ 0.097099 │ │ std ┆ 2.448365 ┆ 2.321829 ┆ 2.23764 │ │ min ┆ -9.344307 ┆ -8.120673 ┆ -6.525644 │ │ 25% ┆ -1.516809 ┆ -1.405266 ┆ -1.346272 │ │ 50% ┆ 0.01105 ┆ -0.01075 ┆ -0.056015 │ │ 75% ┆ 1.658915 ┆ 1.676238 ┆ 1.711522 │ │ max ┆ 7.3889 ┆ 6.934174 ┆ 5.733778 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04075 ┆ 0.045081 ┆ 0.097099 │ │ std ┆ 2.448365 ┆ 2.321829 ┆ 2.23764 │ │ min ┆ -9.344307 ┆ -8.120673 ┆ -6.525644 │ │ 25% ┆ -1.516809 ┆ -1.405266 ┆ -1.346272 │ │ 50% ┆ 0.01105 ┆ -0.01075 ┆ -0.056015 │ │ 75% ┆ 1.658915 ┆ 1.676238 ┆ 1.711522 │ │ max ┆ 7.3889 ┆ 6.934174 ┆ 5.733778 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 215 ┆ 3 │ │ 1278 ┆ 3 │ │ 1885 ┆ 3 │ │ 2157 ┆ 3 │ │ 134 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05993 ┆ 2.421 ┆ 0.05993 ┆ 2.421 ┆ -3.085 ┆ -1.492 ┆ 0.009659 ┆ 1.644 ┆ 3.262 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04075 ┆ 2.448 ┆ 0.04075 ┆ 2.448 ┆ -3.242 ┆ -1.521 ┆ 0.01105 ┆ 1.659 ┆ 3.272 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1565 ┆ 2.275 ┆ 0.1565 ┆ 2.275 ┆ -2.715 ┆ -1.362 ┆ 0.005581 ┆ 1.583 ┆ 3.187 ┆ -7.183 ┆ 7.269 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2187707820}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4111 ┆ 0.32 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.2985 ┆ 0.3257 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2904 ┆ 0.3543 ┆ 0 ┆ 0.05287 ┆ 0 ┆ -0.01145 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.031858 ┆ -0.03911 ┆ -0.070774 │ │ std ┆ 1.296956 ┆ 0.942277 ┆ 0.99675 │ │ min ┆ -4.294867 ┆ -2.906106 ┆ -2.906106 │ │ 25% ┆ -0.901493 ┆ -0.646125 ┆ -0.752128 │ │ 50% ┆ -0.036721 ┆ -0.098203 ┆ -0.122223 │ │ 75% ┆ 0.868993 ┆ 0.597662 ┆ 0.64511 │ │ max ┆ 4.045241 ┆ 3.101821 ┆ 2.588189 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.031858 ┆ -0.03911 ┆ -0.070774 │ │ std ┆ 1.296956 ┆ 0.942277 ┆ 0.99675 │ │ min ┆ -4.294867 ┆ -2.906106 ┆ -2.906106 │ │ 25% ┆ -0.901493 ┆ -0.646125 ┆ -0.752128 │ │ 50% ┆ -0.036721 ┆ -0.098203 ┆ -0.122223 │ │ 75% ┆ 0.868993 ┆ 0.597662 ┆ 0.64511 │ │ max ┆ 4.045241 ┆ 3.101821 ┆ 2.588189 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1908 ┆ 3 │ │ 20 ┆ 2 │ │ 79 ┆ 2 │ │ 112 ┆ 2 │ │ 151 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.04248 ┆ 1.303 ┆ -0.04248 ┆ 1.303 ┆ -1.687 ┆ -0.9207 ┆ -0.04646 ┆ 0.8602 ┆ 1.66 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.03186 ┆ 1.297 ┆ -0.03186 ┆ 1.297 ┆ -1.665 ┆ -0.905 ┆ -0.03736 ┆ 0.869 ┆ 1.658 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.09447 ┆ 1.332 ┆ -0.09447 ┆ 1.332 ┆ -1.704 ┆ -1.05 ┆ -0.1023 ┆ 0.794 ┆ 1.7 ┆ -3.516 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3832684356}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7538 ┆ 0.3047 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1814 ┆ 0.3403 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06485 ┆ 0.355 ┆ 0 ┆ -0.03689 ┆ 0 ┆ -0.02135 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.052865 ┆ 0.053051 ┆ 0.110769 │ │ std ┆ 2.441878 ┆ 2.323357 ┆ 2.204862 │ │ min ┆ -9.344307 ┆ -8.96378 ┆ -6.849928 │ │ 25% ┆ -1.507491 ┆ -1.477152 ┆ -1.370695 │ │ 50% ┆ 0.01105 ┆ 0.034112 ┆ 0.02115 │ │ 75% ┆ 1.688699 ┆ 1.691854 ┆ 1.694069 │ │ max ┆ 7.3889 ┆ 6.996408 ┆ 6.034114 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.052865 ┆ 0.053051 ┆ 0.110769 │ │ std ┆ 2.441878 ┆ 2.323357 ┆ 2.204862 │ │ min ┆ -9.344307 ┆ -8.96378 ┆ -6.849928 │ │ 25% ┆ -1.507491 ┆ -1.477152 ┆ -1.370695 │ │ 50% ┆ 0.01105 ┆ 0.034112 ┆ 0.02115 │ │ 75% ┆ 1.688699 ┆ 1.691854 ┆ 1.694069 │ │ max ┆ 7.3889 ┆ 6.996408 ┆ 6.034114 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 187 ┆ 3 │ │ 1604 ┆ 3 │ │ 15 ┆ 2 │ │ 19 ┆ 2 │ │ 48 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.06179 ┆ 2.428 ┆ 0.06179 ┆ 2.428 ┆ -3.049 ┆ -1.5 ┆ 0.005581 ┆ 1.694 ┆ 3.281 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.05287 ┆ 2.442 ┆ 0.05287 ┆ 2.442 ┆ -3.098 ┆ -1.516 ┆ 0.01105 ┆ 1.689 ┆ 3.262 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1067 ┆ 2.356 ┆ 0.1067 ┆ 2.356 ┆ -2.896 ┆ -1.458 ┆ -0.05645 ┆ 1.834 ┆ 3.296 ┆ -6.49 ┆ 6.302 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1169181388}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.3953 ┆ 0.3463 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.3237 ┆ 0.315 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.281 ┆ 0.3387 ┆ 0 ┆ 0.04298 ┆ 0 ┆ -0.03052 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.036893 ┆ -0.056844 ┆ -0.076019 │ │ std ┆ 1.297216 ┆ 0.948317 ┆ 1.002249 │ │ min ┆ -4.294867 ┆ -2.53384 ┆ -2.490085 │ │ 25% ┆ -0.916054 ┆ -0.696668 ┆ -0.758465 │ │ 50% ┆ -0.051089 ┆ -0.116156 ┆ -0.141482 │ │ 75% ┆ 0.855373 ┆ 0.600427 ┆ 0.66556 │ │ max ┆ 4.045241 ┆ 3.503026 ┆ 2.774733 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.036893 ┆ -0.056844 ┆ -0.076019 │ │ std ┆ 1.297216 ┆ 0.948317 ┆ 1.002249 │ │ min ┆ -4.294867 ┆ -2.53384 ┆ -2.490085 │ │ 25% ┆ -0.916054 ┆ -0.696668 ┆ -0.758465 │ │ 50% ┆ -0.051089 ┆ -0.116156 ┆ -0.141482 │ │ 75% ┆ 0.855373 ┆ 0.600427 ┆ 0.66556 │ │ max ┆ 4.045241 ┆ 3.503026 ┆ 2.774733 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 440 ┆ 3 │ │ 1993 ┆ 3 │ │ 66 ┆ 2 │ │ 73 ┆ 2 │ │ 103 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.03812 ┆ 1.298 ┆ -0.03812 ┆ 1.298 ┆ -1.668 ┆ -0.9109 ┆ -0.06307 ┆ 0.8545 ┆ 1.666 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.03689 ┆ 1.297 ┆ -0.03689 ┆ 1.297 ┆ -1.669 ┆ -0.9164 ┆ -0.05134 ┆ 0.8554 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.04414 ┆ 1.302 ┆ -0.04414 ┆ 1.302 ┆ -1.668 ┆ -0.8834 ┆ -0.1027 ┆ 0.843 ┆ 1.719 ┆ -4.285 ┆ 3.574 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3399021036}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7678 ┆ 0.3173 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1641 ┆ 0.3107 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06809 ┆ 0.372 ┆ 0 ┆ -0.02661 ┆ 0 ┆ -0.02 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.042983 ┆ 0.036451 ┆ 0.094933 │ │ std ┆ 2.456875 ┆ 2.309111 ┆ 2.239928 │ │ min ┆ -9.344307 ┆ -7.471383 ┆ -6.748736 │ │ 25% ┆ -1.543324 ┆ -1.461505 ┆ -1.401323 │ │ 50% ┆ 0.004367 ┆ -0.036182 ┆ -0.035459 │ │ 75% ┆ 1.710033 ┆ 1.645936 ┆ 1.698078 │ │ max ┆ 7.3889 ┆ 6.463159 ┆ 5.856564 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.042983 ┆ 0.036451 ┆ 0.094933 │ │ std ┆ 2.456875 ┆ 2.309111 ┆ 2.239928 │ │ min ┆ -9.344307 ┆ -7.471383 ┆ -6.748736 │ │ 25% ┆ -1.543324 ┆ -1.461505 ┆ -1.401323 │ │ 50% ┆ 0.004367 ┆ -0.036182 ┆ -0.035459 │ │ 75% ┆ 1.710033 ┆ 1.645936 ┆ 1.698078 │ │ max ┆ 7.3889 ┆ 6.463159 ┆ 5.856564 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2374 ┆ 4 │ │ 617 ┆ 3 │ │ 990 ┆ 3 │ │ 1698 ┆ 3 │ │ 2883 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04318 ┆ 2.441 ┆ 0.04318 ┆ 2.441 ┆ -3.1 ┆ -1.535 ┆ 0.004367 ┆ 1.704 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04298 ┆ 2.457 ┆ 0.04298 ┆ 2.457 ┆ -3.197 ┆ -1.544 ┆ 0.004367 ┆ 1.71 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.04418 ┆ 2.364 ┆ 0.04418 ┆ 2.364 ┆ -2.978 ┆ -1.5 ┆ 0.008041 ┆ 1.62 ┆ 3.292 ┆ -7.011 ┆ 6.349 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2564994408}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4093 ┆ 0.343 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3011 ┆ 0.3307 ┆ 0 ┆ 0.03056 ┆ 0 ┆ -0.05933 │ │ x2 ┆ 0.2896 ┆ 0.3263 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.026607 ┆ -0.046855 ┆ -0.056683 │ │ std ┆ 1.290886 ┆ 0.948357 ┆ 0.991022 │ │ min ┆ -4.294867 ┆ -2.826089 ┆ -2.826089 │ │ 25% ┆ -0.891405 ┆ -0.702791 ┆ -0.737679 │ │ 50% ┆ -0.05655 ┆ -0.091978 ┆ -0.092535 │ │ 75% ┆ 0.862733 ┆ 0.609596 ┆ 0.608071 │ │ max ┆ 4.045241 ┆ 3.121151 ┆ 2.688603 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.026607 ┆ -0.046855 ┆ -0.056683 │ │ std ┆ 1.290886 ┆ 0.948357 ┆ 0.991022 │ │ min ┆ -4.294867 ┆ -2.826089 ┆ -2.826089 │ │ 25% ┆ -0.891405 ┆ -0.702791 ┆ -0.737679 │ │ 50% ┆ -0.05655 ┆ -0.091978 ┆ -0.092535 │ │ 75% ┆ 0.862733 ┆ 0.609596 ┆ 0.608071 │ │ max ┆ 4.045241 ┆ 3.121151 ┆ 2.688603 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1078 ┆ 3 │ │ 1466 ┆ 3 │ │ 1677 ┆ 3 │ │ 1867 ┆ 3 │ │ 2404 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02582 ┆ 1.292 ┆ -0.02582 ┆ 1.292 ┆ -1.666 ┆ -0.8924 ┆ -0.05655 ┆ 0.8702 ┆ 1.669 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02661 ┆ 1.291 ┆ -0.02661 ┆ 1.291 ┆ -1.662 ┆ -0.8914 ┆ -0.05713 ┆ 0.8627 ┆ 1.662 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.02198 ┆ 1.298 ┆ -0.02198 ┆ 1.298 ┆ -1.691 ┆ -0.9232 ┆ -0.03591 ┆ 0.8988 ┆ 1.7 ┆ -4.285 ┆ 3.689 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1823654923}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7534 ┆ 0.305 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1814 ┆ 0.3387 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.0652 ┆ 0.3563 ┆ 0 ┆ -0.02208 ┆ 0 ┆ -0.01184 │ └─────────┴────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.030557 ┆ 0.019102 ┆ 0.041333 │ │ std ┆ 2.458095 ┆ 2.333019 ┆ 2.268591 │ │ min ┆ -9.344307 ┆ -7.412841 ┆ -6.558959 │ │ 25% ┆ -1.554716 ┆ -1.494746 ┆ -1.532565 │ │ 50% ┆ 0.01105 ┆ -0.012544 ┆ -0.098607 │ │ 75% ┆ 1.691067 ┆ 1.627061 ┆ 1.580644 │ │ max ┆ 7.3889 ┆ 6.906582 ┆ 5.936097 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.030557 ┆ 0.019102 ┆ 0.041333 │ │ std ┆ 2.458095 ┆ 2.333019 ┆ 2.268591 │ │ min ┆ -9.344307 ┆ -7.412841 ┆ -6.558959 │ │ 25% ┆ -1.554716 ┆ -1.494746 ┆ -1.532565 │ │ 50% ┆ 0.01105 ┆ -0.012544 ┆ -0.098607 │ │ 75% ┆ 1.691067 ┆ 1.627061 ┆ 1.580644 │ │ max ┆ 7.3889 ┆ 6.906582 ┆ 5.936097 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 18 ┆ 3 │ │ 581 ┆ 3 │ │ 2843 ┆ 3 │ │ 9 ┆ 2 │ │ 30 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.03449 ┆ 2.443 ┆ 0.03449 ┆ 2.443 ┆ -3.142 ┆ -1.553 ┆ 0.01105 ┆ 1.689 ┆ 3.272 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03056 ┆ 2.458 ┆ 0.03056 ┆ 2.458 ┆ -3.17 ┆ -1.558 ┆ 0.01105 ┆ 1.691 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.05428 ┆ 2.366 ┆ 0.05428 ┆ 2.366 ┆ -2.882 ┆ -1.496 ┆ 0.01105 ┆ 1.679 ┆ 3.108 ┆ -7.576 ┆ 7.269 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2325297654}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4237 ┆ 0.35 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3014 ┆ 0.3407 ┆ 0 ┆ 0.03256 ┆ 0 ┆ -0.04955 │ │ x2 ┆ 0.2749 ┆ 0.3093 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022079 ┆ -0.03814 ┆ -0.073581 │ │ std ┆ 1.290021 ┆ 0.926451 ┆ 0.972421 │ │ min ┆ -4.294867 ┆ -3.247478 ┆ -3.247478 │ │ 25% ┆ -0.892413 ┆ -0.644019 ┆ -0.701719 │ │ 50% ┆ -0.037364 ┆ -0.06859 ┆ -0.052755 │ │ 75% ┆ 0.87112 ┆ 0.633083 ┆ 0.631516 │ │ max ┆ 4.045241 ┆ 2.692687 ┆ 2.392164 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022079 ┆ -0.03814 ┆ -0.073581 │ │ std ┆ 1.290021 ┆ 0.926451 ┆ 0.972421 │ │ min ┆ -4.294867 ┆ -3.247478 ┆ -3.247478 │ │ 25% ┆ -0.892413 ┆ -0.644019 ┆ -0.701719 │ │ 50% ┆ -0.037364 ┆ -0.06859 ┆ -0.052755 │ │ 75% ┆ 0.87112 ┆ 0.633083 ┆ 0.631516 │ │ max ┆ 4.045241 ┆ 2.692687 ┆ 2.392164 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1235 ┆ 3 │ │ 2792 ┆ 3 │ │ 16 ┆ 2 │ │ 117 ┆ 2 │ │ 180 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02692 ┆ 1.294 ┆ -0.02692 ┆ 1.294 ┆ -1.688 ┆ -0.905 ┆ -0.05199 ┆ 0.8701 ┆ 1.66 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02208 ┆ 1.29 ┆ -0.02208 ┆ 1.29 ┆ -1.665 ┆ -0.8947 ┆ -0.0401 ┆ 0.8711 ┆ 1.662 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.0506 ┆ 1.317 ┆ -0.0506 ┆ 1.317 ┆ -1.751 ┆ -0.9278 ┆ -0.1027 ┆ 0.8536 ┆ 1.655 ┆ -4.285 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1949936187}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7479 ┆ 0.313 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1854 ┆ 0.349 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06674 ┆ 0.338 ┆ 0 ┆ -0.02793 ┆ 0 ┆ -0.03352 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.032564 ┆ 0.017492 ┆ 0.035615 │ │ std ┆ 2.458475 ┆ 2.322612 ┆ 2.242418 │ │ min ┆ -9.344307 ┆ -7.527598 ┆ -6.936872 │ │ 25% ┆ -1.554716 ┆ -1.50188 ┆ -1.509646 │ │ 50% ┆ 0.013614 ┆ -0.022433 ┆ -0.054301 │ │ 75% ┆ 1.691577 ┆ 1.654748 ┆ 1.681434 │ │ max ┆ 7.3889 ┆ 7.207751 ┆ 5.719893 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.032564 ┆ 0.017492 ┆ 0.035615 │ │ std ┆ 2.458475 ┆ 2.322612 ┆ 2.242418 │ │ min ┆ -9.344307 ┆ -7.527598 ┆ -6.936872 │ │ 25% ┆ -1.554716 ┆ -1.50188 ┆ -1.509646 │ │ 50% ┆ 0.013614 ┆ -0.022433 ┆ -0.054301 │ │ 75% ┆ 1.691577 ┆ 1.654748 ┆ 1.681434 │ │ max ┆ 7.3889 ┆ 7.207751 ┆ 5.719893 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2912 ┆ 3 │ │ 4 ┆ 2 │ │ 28 ┆ 2 │ │ 30 ┆ 2 │ │ 100 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.03554 ┆ 2.443 ┆ 0.03554 ┆ 2.443 ┆ -3.07 ┆ -1.553 ┆ 0.01158 ┆ 1.71 ┆ 3.202 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03256 ┆ 2.458 ┆ 0.03256 ┆ 2.458 ┆ -3.21 ┆ -1.558 ┆ 0.01158 ┆ 1.692 ┆ 3.267 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.05049 ┆ 2.365 ┆ 0.05049 ┆ 2.365 ┆ -2.812 ┆ -1.5 ┆ 0.01158 ┆ 1.842 ┆ 2.836 ┆ -9.344 ┆ 6.349 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3088264686}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.43 ┆ 0.3563 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3088 ┆ 0.3447 ┆ 0 ┆ 0.03181 ┆ 0 ┆ -0.04862 │ │ x2 ┆ 0.2612 ┆ 0.299 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.027927 ┆ -0.037712 ┆ -0.04146 │ │ std ┆ 1.293873 ┆ 0.950957 ┆ 1.014107 │ │ min ┆ -4.294867 ┆ -3.456796 ┆ -3.456796 │ │ 25% ┆ -0.899144 ┆ -0.654089 ┆ -0.716171 │ │ 50% ┆ -0.051987 ┆ -0.108852 ┆ -0.09888 │ │ 75% ┆ 0.862733 ┆ 0.605197 ┆ 0.639207 │ │ max ┆ 4.045241 ┆ 3.127987 ┆ 2.784214 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.027927 ┆ -0.037712 ┆ -0.04146 │ │ std ┆ 1.293873 ┆ 0.950957 ┆ 1.014107 │ │ min ┆ -4.294867 ┆ -3.456796 ┆ -3.456796 │ │ 25% ┆ -0.899144 ┆ -0.654089 ┆ -0.716171 │ │ 50% ┆ -0.051987 ┆ -0.108852 ┆ -0.09888 │ │ 75% ┆ 0.862733 ┆ 0.605197 ┆ 0.639207 │ │ max ┆ 4.045241 ┆ 3.127987 ┆ 2.784214 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 195 ┆ 3 │ │ 450 ┆ 3 │ │ 1170 ┆ 3 │ │ 2164 ┆ 3 │ │ 61 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.0166 ┆ 1.308 ┆ -0.0166 ┆ 1.308 ┆ -1.69 ┆ -0.8924 ┆ -0.0401 ┆ 0.8836 ┆ 1.666 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02793 ┆ 1.294 ┆ -0.02793 ┆ 1.294 ┆ -1.688 ┆ -0.8991 ┆ -0.05655 ┆ 0.8627 ┆ 1.655 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.03882 ┆ 1.373 ┆ 0.03882 ┆ 1.373 ┆ -1.695 ┆ -0.8351 ┆ 0.009815 ┆ 0.9628 ┆ 1.815 ┆ -4.295 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3373085443}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬───────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪═══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7609 ┆ 0.3093 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1647 ┆ 0.3307 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07436 ┆ 0.36 ┆ 0 ┆ -0.009657 ┆ 0 ┆ -0.001704 │ └─────────┴─────────┴───────────┴─────────────────┴───────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.031812 ┆ 0.025823 ┆ 0.056087 │ │ std ┆ 2.458351 ┆ 2.336373 ┆ 2.267131 │ │ min ┆ -9.344307 ┆ -8.111494 ┆ -7.4813 │ │ 25% ┆ -1.565075 ┆ -1.475711 ┆ -1.448149 │ │ 50% ┆ 0.013614 ┆ -0.013856 ┆ -0.022705 │ │ 75% ┆ 1.725575 ┆ 1.671822 ┆ 1.782275 │ │ max ┆ 7.3889 ┆ 6.945502 ┆ 5.908191 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.031812 ┆ 0.025823 ┆ 0.056087 │ │ std ┆ 2.458351 ┆ 2.336373 ┆ 2.267131 │ │ min ┆ -9.344307 ┆ -8.111494 ┆ -7.4813 │ │ 25% ┆ -1.565075 ┆ -1.475711 ┆ -1.448149 │ │ 50% ┆ 0.013614 ┆ -0.013856 ┆ -0.022705 │ │ 75% ┆ 1.725575 ┆ 1.671822 ┆ 1.782275 │ │ max ┆ 7.3889 ┆ 6.945502 ┆ 5.908191 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 10 ┆ 4 │ │ 14 ┆ 2 │ │ 300 ┆ 2 │ │ 324 ┆ 2 │ │ 341 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04034 ┆ 2.443 ┆ 0.04034 ┆ 2.443 ┆ -3.047 ┆ -1.535 ┆ 0.008041 ┆ 1.754 ┆ 3.202 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03181 ┆ 2.458 ┆ 0.03181 ┆ 2.458 ┆ -3.098 ┆ -1.565 ┆ 0.01158 ┆ 1.726 ┆ 3.215 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.08325 ┆ 2.363 ┆ 0.08325 ┆ 2.363 ┆ -2.867 ┆ -1.459 ┆ -0.08397 ┆ 1.845 ┆ 3.187 ┆ -7.356 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1231725931}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.3868 ┆ 0.3137 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3267 ┆ 0.3487 ┆ 0 ┆ 0.03832 ┆ 0 ┆ -0.03283 │ │ x2 ┆ 0.2865 ┆ 0.3377 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.009657 ┆ -0.007274 ┆ 0.020036 │ │ std ┆ 1.305961 ┆ 0.958951 ┆ 1.019045 │ │ min ┆ -4.294867 ┆ -3.538142 ┆ -2.239252 │ │ 25% ┆ -0.885839 ┆ -0.689156 ┆ -0.709567 │ │ 50% ┆ -0.028019 ┆ -0.044172 ┆ -0.016608 │ │ 75% ┆ 0.889898 ┆ 0.654811 ┆ 0.797164 │ │ max ┆ 4.045241 ┆ 3.404673 ┆ 3.404673 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.009657 ┆ -0.007274 ┆ 0.020036 │ │ std ┆ 1.305961 ┆ 0.958951 ┆ 1.019045 │ │ min ┆ -4.294867 ┆ -3.538142 ┆ -2.239252 │ │ 25% ┆ -0.885839 ┆ -0.689156 ┆ -0.709567 │ │ 50% ┆ -0.028019 ┆ -0.044172 ┆ -0.016608 │ │ 75% ┆ 0.889898 ┆ 0.654811 ┆ 0.797164 │ │ max ┆ 4.045241 ┆ 3.404673 ┆ 3.404673 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 503 ┆ 3 │ │ 812 ┆ 3 │ │ 2795 ┆ 3 │ │ 27 ┆ 2 │ │ 124 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.008457 ┆ 1.312 ┆ -0.008457 ┆ 1.312 ┆ -1.665 ┆ -0.8924 ┆ -0.03736 ┆ 0.8899 ┆ 1.68 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.009657 ┆ 1.306 ┆ -0.009657 ┆ 1.306 ┆ -1.662 ┆ -0.8892 ┆ -0.02853 ┆ 0.8899 ┆ 1.666 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.002586 ┆ 1.343 ┆ -0.002586 ┆ 1.343 ┆ -1.704 ┆ -0.9738 ┆ -0.09176 ┆ 0.8988 ┆ 1.922 ┆ -3.496 ┆ 3.656 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2800746980}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7599 ┆ 0.3313 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1712 ┆ 0.3437 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06891 ┆ 0.325 ┆ 0 ┆ -0.01812 ┆ 0 ┆ 0.0001 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.038319 ┆ 0.036225 ┆ 0.08233 │ │ std ┆ 2.458105 ┆ 2.332194 ┆ 2.247992 │ │ min ┆ -9.344307 ┆ -7.656435 ┆ -6.62782 │ │ 25% ┆ -1.534609 ┆ -1.578515 ┆ -1.540405 │ │ 50% ┆ 0.002043 ┆ -0.000421 ┆ -0.035326 │ │ 75% ┆ 1.726937 ┆ 1.660506 ┆ 1.690927 │ │ max ┆ 7.3889 ┆ 6.695521 ┆ 5.913024 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.038319 ┆ 0.036225 ┆ 0.08233 │ │ std ┆ 2.458105 ┆ 2.332194 ┆ 2.247992 │ │ min ┆ -9.344307 ┆ -7.656435 ┆ -6.62782 │ │ 25% ┆ -1.534609 ┆ -1.578515 ┆ -1.540405 │ │ 50% ┆ 0.002043 ┆ -0.000421 ┆ -0.035326 │ │ 75% ┆ 1.726937 ┆ 1.660506 ┆ 1.690927 │ │ max ┆ 7.3889 ┆ 6.695521 ┆ 5.913024 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1964 ┆ 4 │ │ 93 ┆ 3 │ │ 1325 ┆ 3 │ │ 107 ┆ 2 │ │ 113 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.03932 ┆ 2.452 ┆ 0.03932 ┆ 2.452 ┆ -3.07 ┆ -1.555 ┆ -0.01052 ┆ 1.719 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03832 ┆ 2.458 ┆ 0.03832 ┆ 2.458 ┆ -3.125 ┆ -1.543 ┆ 0.001001 ┆ 1.727 ┆ 3.267 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.04434 ┆ 2.425 ┆ 0.04434 ┆ 2.425 ┆ -2.871 ┆ -1.595 ┆ -0.06297 ┆ 1.631 ┆ 3.404 ┆ -7.356 ┆ 6.349 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1856173955}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4115 ┆ 0.3307 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2943 ┆ 0.3527 ┆ 0 ┆ 0.03059 ┆ 0 ┆ -0.06592 │ │ x2 ┆ 0.2943 ┆ 0.3167 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.018117 ┆ -0.017653 ┆ -0.031115 │ │ std ┆ 1.29923 ┆ 0.958244 ┆ 1.016693 │ │ min ┆ -4.294867 ┆ -2.813736 ┆ -2.775333 │ │ 25% ┆ -0.899144 ┆ -0.702324 ┆ -0.756127 │ │ 50% ┆ -0.051089 ┆ -0.066666 ┆ -0.082001 │ │ 75% ┆ 0.87018 ┆ 0.679381 ┆ 0.664795 │ │ max ┆ 4.045241 ┆ 3.095384 ┆ 2.5114 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.018117 ┆ -0.017653 ┆ -0.031115 │ │ std ┆ 1.29923 ┆ 0.958244 ┆ 1.016693 │ │ min ┆ -4.294867 ┆ -2.813736 ┆ -2.775333 │ │ 25% ┆ -0.899144 ┆ -0.702324 ┆ -0.756127 │ │ 50% ┆ -0.051089 ┆ -0.066666 ┆ -0.082001 │ │ 75% ┆ 0.87018 ┆ 0.679381 ┆ 0.664795 │ │ max ┆ 4.045241 ┆ 3.095384 ┆ 2.5114 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1322 ┆ 3 │ │ 2833 ┆ 3 │ │ 8 ┆ 2 │ │ 97 ┆ 2 │ │ 382 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01823 ┆ 1.305 ┆ -0.01823 ┆ 1.305 ┆ -1.662 ┆ -0.9076 ┆ -0.04646 ┆ 0.8711 ┆ 1.681 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.01812 ┆ 1.299 ┆ -0.01812 ┆ 1.299 ┆ -1.662 ┆ -0.9015 ┆ -0.05109 ┆ 0.8702 ┆ 1.676 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.0188 ┆ 1.336 ┆ -0.0188 ┆ 1.336 ┆ -1.662 ┆ -0.9642 ┆ -0.03591 ┆ 0.9093 ┆ 1.781 ┆ -4.285 ┆ 3.58 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1433698793}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7512 ┆ 0.3353 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1777 ┆ 0.3147 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07107 ┆ 0.35 ┆ 0 ┆ -0.02143 ┆ 0 ┆ -0.002872 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.030589 ┆ 0.022948 ┆ 0.071901 │ │ std ┆ 2.469794 ┆ 2.339358 ┆ 2.280976 │ │ min ┆ -9.344307 ┆ -8.082794 ┆ -6.784225 │ │ 25% ┆ -1.575541 ┆ -1.488922 ┆ -1.498581 │ │ 50% ┆ 0.002043 ┆ -0.026309 ┆ -0.047477 │ │ 75% ┆ 1.691577 ┆ 1.615338 ┆ 1.697909 │ │ max ┆ 7.3889 ┆ 6.742107 ┆ 5.722667 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.030589 ┆ 0.022948 ┆ 0.071901 │ │ std ┆ 2.469794 ┆ 2.339358 ┆ 2.280976 │ │ min ┆ -9.344307 ┆ -8.082794 ┆ -6.784225 │ │ 25% ┆ -1.575541 ┆ -1.488922 ┆ -1.498581 │ │ 50% ┆ 0.002043 ┆ -0.026309 ┆ -0.047477 │ │ 75% ┆ 1.691577 ┆ 1.615338 ┆ 1.697909 │ │ max ┆ 7.3889 ┆ 6.742107 ┆ 5.722667 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2432 ┆ 3 │ │ 2735 ┆ 3 │ │ 97 ┆ 2 │ │ 119 ┆ 2 │ │ 308 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.0429 ┆ 2.466 ┆ 0.0429 ┆ 2.466 ┆ -3.098 ┆ -1.574 ┆ -0.01052 ┆ 1.71 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03059 ┆ 2.47 ┆ 0.03059 ┆ 2.47 ┆ -3.17 ┆ -1.576 ┆ 0.001001 ┆ 1.692 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1049 ┆ 2.448 ┆ 0.1049 ┆ 2.448 ┆ -2.968 ┆ -1.543 ┆ -0.09282 ┆ 1.805 ┆ 3.361 ┆ -9.344 ┆ 6.349 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2952199019}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4245 ┆ 0.3487 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.304 ┆ 0.329 ┆ 0 ┆ 0.04262 ┆ 0 ┆ -0.07218 │ │ x2 ┆ 0.2715 ┆ 0.3223 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.02143 ┆ -0.021102 ┆ -0.033386 │ │ std ┆ 1.297784 ┆ 0.92902 ┆ 0.975815 │ │ min ┆ -4.294867 ┆ -3.370624 ┆ -3.370624 │ │ 25% ┆ -0.905823 ┆ -0.647635 ┆ -0.689256 │ │ 50% ┆ -0.036721 ┆ -0.077448 ┆ -0.047476 │ │ 75% ┆ 0.870064 ┆ 0.637741 ┆ 0.692541 │ │ max ┆ 4.045241 ┆ 2.811262 ┆ 2.811262 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.02143 ┆ -0.021102 ┆ -0.033386 │ │ std ┆ 1.297784 ┆ 0.92902 ┆ 0.975815 │ │ min ┆ -4.294867 ┆ -3.370624 ┆ -3.370624 │ │ 25% ┆ -0.905823 ┆ -0.647635 ┆ -0.689256 │ │ 50% ┆ -0.036721 ┆ -0.077448 ┆ -0.047476 │ │ 75% ┆ 0.870064 ┆ 0.637741 ┆ 0.692541 │ │ max ┆ 4.045241 ┆ 2.811262 ┆ 2.811262 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1355 ┆ 3 │ │ 5 ┆ 2 │ │ 56 ┆ 2 │ │ 123 ┆ 2 │ │ 150 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01184 ┆ 1.307 ┆ -0.01184 ┆ 1.307 ┆ -1.662 ┆ -0.905 ┆ -0.02244 ┆ 0.8945 ┆ 1.706 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02143 ┆ 1.298 ┆ -0.02143 ┆ 1.298 ┆ -1.662 ┆ -0.9058 ┆ -0.03736 ┆ 0.8701 ┆ 1.671 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.03512 ┆ 1.353 ┆ 0.03512 ┆ 1.353 ┆ -1.701 ┆ -0.8797 ┆ 0.04446 ┆ 0.9507 ┆ 1.81 ┆ -4.285 ┆ 3.656 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
y1
y2
Final Estimates by Iteration
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/2.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 744055729}
Iterations: 100
Model: y1=f(x1, x2, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7907 ┆ 0.4873 ┆ 0 ┆ 0.01674 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.2093 ┆ 0.5127 ┆ 0 ┆ 0.003833 ┆ 0 ┆ 0.01459 │ └─────────┴────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.053215 ┆ 0.103529 │ │ std ┆ 2.481378 ┆ 2.295015 ┆ 2.233557 │ │ min ┆ -9.344307 ┆ -7.405521 ┆ -6.043226 │ │ 25% ┆ -1.568774 ┆ -1.358461 ┆ -1.378455 │ │ 50% ┆ 0.013614 ┆ 0.063475 ┆ 0.050694 │ │ 75% ┆ 1.693908 ┆ 1.569222 ┆ 1.572928 │ │ max ┆ 7.3889 ┆ 6.714714 ┆ 5.700831 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.053215 ┆ 0.103529 │ │ std ┆ 2.481378 ┆ 2.295015 ┆ 2.233557 │ │ min ┆ -9.344307 ┆ -7.405521 ┆ -6.043226 │ │ 25% ┆ -1.568774 ┆ -1.358461 ┆ -1.378455 │ │ 50% ┆ 0.013614 ┆ 0.063475 ┆ 0.050694 │ │ 75% ┆ 1.693908 ┆ 1.569222 ┆ 1.572928 │ │ max ┆ 7.3889 ┆ 6.714714 ┆ 5.700831 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 670 ┆ 3 │ │ 1240 ┆ 3 │ │ 1466 ┆ 3 │ │ 1840 ┆ 3 │ │ 1883 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3000 ┆ 3000 ┆ 0.03634 ┆ 2.472 ┆ 0.03634 ┆ 2.472 ┆ -3.197 ┆ -1.544 ┆ 0.008964 ┆ 1.692 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 2404 ┆ 2404 ┆ 0.02718 ┆ 2.481 ┆ 0.02718 ┆ 2.481 ┆ -3.259 ┆ -1.573 ┆ 0.01158 ┆ 1.694 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.07328 ┆ 2.438 ┆ 0.07328 ┆ 2.438 ┆ -2.903 ┆ -1.46 ┆ -0.01683 ┆ 1.621 ┆ 3.292 ┆ -7.011 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1116892547}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.3639 ┆ 0.3197 ┆ 0 ┆ 0.03035 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.3372 ┆ 0.3307 ┆ 0 ┆ 0.00414 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2989 ┆ 0.3497 ┆ 0 ┆ 0.06044 ┆ 0 ┆ -0.05751 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.025805 ┆ -0.038311 │ │ std ┆ 1.288127 ┆ 0.899539 ┆ 0.900024 │ │ min ┆ -4.294867 ┆ -3.107884 ┆ -2.381024 │ │ 25% ┆ -0.891405 ┆ -0.631484 ┆ -0.664056 │ │ 50% ┆ -0.040102 ┆ -0.072356 ┆ -0.083393 │ │ 75% ┆ 0.868993 ┆ 0.611584 ┆ 0.638826 │ │ max ┆ 4.045241 ┆ 2.842653 ┆ 2.452033 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.025805 ┆ -0.038311 │ │ std ┆ 1.288127 ┆ 0.899539 ┆ 0.900024 │ │ min ┆ -4.294867 ┆ -3.107884 ┆ -2.381024 │ │ 25% ┆ -0.891405 ┆ -0.631484 ┆ -0.664056 │ │ 50% ┆ -0.040102 ┆ -0.072356 ┆ -0.083393 │ │ 75% ┆ 0.868993 ┆ 0.611584 ┆ 0.638826 │ │ max ┆ 4.045241 ┆ 2.842653 ┆ 2.452033 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2734 ┆ 5 │ │ 931 ┆ 4 │ │ 134 ┆ 3 │ │ 2527 ┆ 3 │ │ 2585 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3000 ┆ 3000 ┆ -0.01904 ┆ 1.285 ┆ -0.01904 ┆ 1.285 ┆ -1.653 ┆ -0.8947 ┆ -0.0401 ┆ 0.8761 ┆ 1.671 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 2387 ┆ 2387 ┆ -0.02211 ┆ 1.288 ┆ -0.02211 ┆ 1.288 ┆ -1.653 ┆ -0.8914 ┆ -0.0401 ┆ 0.869 ┆ 1.658 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.007087 ┆ 1.275 ┆ -0.007087 ┆ 1.275 ┆ -1.665 ┆ -0.9246 ┆ -0.0401 ┆ 0.9492 ┆ 1.708 ┆ -3.425 ┆ 3.867 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1725730852}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7638 ┆ 0.3147 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1842 ┆ 0.3283 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.05202 ┆ 0.357 ┆ 0 ┆ -0.01904 ┆ 0 ┆ -0.03032 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.036339 ┆ 0.027253 ┆ 0.075555 │ │ std ┆ 2.472443 ┆ 2.332866 ┆ 2.258851 │ │ min ┆ -9.344307 ┆ -7.130516 ┆ -6.155054 │ │ 25% ┆ -1.543324 ┆ -1.498029 ┆ -1.457038 │ │ 50% ┆ 0.009275 ┆ 0.05985 ┆ 0.095857 │ │ 75% ┆ 1.691577 ┆ 1.606587 ┆ 1.566954 │ │ max ┆ 7.3889 ┆ 6.572117 ┆ 5.694701 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.036339 ┆ 0.027253 ┆ 0.075555 │ │ std ┆ 2.472443 ┆ 2.332866 ┆ 2.258851 │ │ min ┆ -9.344307 ┆ -7.130516 ┆ -6.155054 │ │ 25% ┆ -1.543324 ┆ -1.498029 ┆ -1.457038 │ │ 50% ┆ 0.009275 ┆ 0.05985 ┆ 0.095857 │ │ 75% ┆ 1.691577 ┆ 1.606587 ┆ 1.566954 │ │ max ┆ 7.3889 ┆ 6.572117 ┆ 5.694701 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 109 ┆ 2 │ │ 225 ┆ 2 │ │ 235 ┆ 2 │ │ 365 ┆ 2 │ │ 411 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04027 ┆ 2.466 ┆ 0.04027 ┆ 2.466 ┆ -3.1 ┆ -1.558 ┆ 0.008964 ┆ 1.694 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03634 ┆ 2.472 ┆ 0.03634 ┆ 2.472 ┆ -3.21 ┆ -1.544 ┆ 0.008964 ┆ 1.692 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.06005 ┆ 2.437 ┆ 0.06005 ┆ 2.437 ┆ -2.871 ┆ -1.636 ┆ -0.007669 ┆ 1.73 ┆ 3.396 ┆ -7.011 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2497349530}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.406 ┆ 0.3217 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.3011 ┆ 0.3403 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2929 ┆ 0.338 ┆ 0 ┆ 0.03371 ┆ 0 ┆ -0.052 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.019037 ┆ -0.005243 ┆ -0.009783 │ │ std ┆ 1.285158 ┆ 0.916259 ┆ 0.944024 │ │ min ┆ -4.294867 ┆ -3.04376 ┆ -2.389519 │ │ 25% ┆ -0.892413 ┆ -0.584722 ┆ -0.583907 │ │ 50% ┆ -0.040102 ┆ -0.054544 ┆ -0.066943 │ │ 75% ┆ 0.876095 ┆ 0.656716 ┆ 0.691192 │ │ max ┆ 4.045241 ┆ 3.118364 ┆ 3.094037 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.019037 ┆ -0.005243 ┆ -0.009783 │ │ std ┆ 1.285158 ┆ 0.916259 ┆ 0.944024 │ │ min ┆ -4.294867 ┆ -3.04376 ┆ -2.389519 │ │ 25% ┆ -0.892413 ┆ -0.584722 ┆ -0.583907 │ │ 50% ┆ -0.040102 ┆ -0.054544 ┆ -0.066943 │ │ 75% ┆ 0.876095 ┆ 0.656716 ┆ 0.691192 │ │ max ┆ 4.045241 ┆ 3.118364 ┆ 3.094037 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1742 ┆ 3 │ │ 23 ┆ 2 │ │ 133 ┆ 2 │ │ 158 ┆ 2 │ │ 171 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01355 ┆ 1.286 ┆ -0.01355 ┆ 1.286 ┆ -1.665 ┆ -0.905 ┆ -0.0401 ┆ 0.8854 ┆ 1.676 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.01904 ┆ 1.285 ┆ -0.01904 ┆ 1.285 ┆ -1.655 ┆ -0.8947 ┆ -0.0401 ┆ 0.8761 ┆ 1.671 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.0133 ┆ 1.293 ┆ 0.0133 ┆ 1.293 ┆ -1.695 ┆ -0.9246 ┆ -0.04608 ┆ 0.9031 ┆ 1.681 ┆ -3.425 ┆ 3.867 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 104556031}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7458 ┆ 0.3123 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1915 ┆ 0.3427 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06261 ┆ 0.345 ┆ 0 ┆ -0.01487 ┆ 0 ┆ -0.00367 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.033711 ┆ 0.015652 ┆ 0.057976 │ │ std ┆ 2.472351 ┆ 2.321237 ┆ 2.283678 │ │ min ┆ -9.344307 ┆ -6.826064 ┆ -6.614226 │ │ 25% ┆ -1.568774 ┆ -1.539953 ┆ -1.549587 │ │ 50% ┆ 0.011581 ┆ -0.001045 ┆ -0.025358 │ │ 75% ┆ 1.710033 ┆ 1.55909 ┆ 1.581728 │ │ max ┆ 7.3889 ┆ 6.505013 ┆ 5.994753 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.033711 ┆ 0.015652 ┆ 0.057976 │ │ std ┆ 2.472351 ┆ 2.321237 ┆ 2.283678 │ │ min ┆ -9.344307 ┆ -6.826064 ┆ -6.614226 │ │ 25% ┆ -1.568774 ┆ -1.539953 ┆ -1.549587 │ │ 50% ┆ 0.011581 ┆ -0.001045 ┆ -0.025358 │ │ 75% ┆ 1.710033 ┆ 1.55909 ┆ 1.581728 │ │ max ┆ 7.3889 ┆ 6.505013 ┆ 5.994753 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 934 ┆ 3 │ │ 24 ┆ 2 │ │ 60 ┆ 2 │ │ 73 ┆ 2 │ │ 157 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05022 ┆ 2.458 ┆ 0.05022 ┆ 2.458 ┆ -3.054 ┆ -1.569 ┆ 0.01437 ┆ 1.73 ┆ 3.3 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03371 ┆ 2.472 ┆ 0.03371 ┆ 2.472 ┆ -3.163 ┆ -1.573 ┆ 0.01105 ┆ 1.71 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1333 ┆ 2.387 ┆ 0.1333 ┆ 2.387 ┆ -2.787 ┆ -1.496 ┆ 0.06592 ┆ 1.857 ┆ 3.44 ┆ -7.356 ┆ 6.572 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1347606359}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4285 ┆ 0.3303 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2923 ┆ 0.3537 ┆ 0 ┆ 0.04827 ┆ 0 ┆ -0.04753 │ │ x2 ┆ 0.2792 ┆ 0.316 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.01487 ┆ -0.013224 ┆ -0.023931 │ │ std ┆ 1.28902 ┆ 0.932466 ┆ 0.955709 │ │ min ┆ -4.294867 ┆ -3.14861 ┆ -2.474476 │ │ 25% ┆ -0.899105 ┆ -0.632214 ┆ -0.653807 │ │ 50% ┆ -0.040102 ┆ -0.043787 ┆ -0.038031 │ │ 75% ┆ 0.870198 ┆ 0.616717 ┆ 0.554014 │ │ max ┆ 4.045241 ┆ 3.369401 ┆ 2.655197 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.01487 ┆ -0.013224 ┆ -0.023931 │ │ std ┆ 1.28902 ┆ 0.932466 ┆ 0.955709 │ │ min ┆ -4.294867 ┆ -3.14861 ┆ -2.474476 │ │ 25% ┆ -0.899105 ┆ -0.632214 ┆ -0.653807 │ │ 50% ┆ -0.040102 ┆ -0.043787 ┆ -0.038031 │ │ 75% ┆ 0.870198 ┆ 0.616717 ┆ 0.554014 │ │ max ┆ 4.045241 ┆ 3.369401 ┆ 2.655197 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 370 ┆ 3 │ │ 620 ┆ 3 │ │ 876 ┆ 3 │ │ 76 ┆ 2 │ │ 111 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.009278 ┆ 1.296 ┆ -0.009278 ┆ 1.296 ┆ -1.695 ┆ -0.8924 ┆ -0.02411 ┆ 0.9031 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.01487 ┆ 1.289 ┆ -0.01487 ┆ 1.289 ┆ -1.665 ┆ -0.8991 ┆ -0.04046 ┆ 0.8702 ┆ 1.66 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.01809 ┆ 1.33 ┆ 0.01809 ┆ 1.33 ┆ -1.81 ┆ -0.8834 ┆ 0.06646 ┆ 0.9668 ┆ 1.642 ┆ -4.285 ┆ 3.867 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 756824396}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7455 ┆ 0.328 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1819 ┆ 0.3217 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07257 ┆ 0.3503 ┆ 0 ┆ -0.01389 ┆ 0 ┆ -0.009763 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04827 ┆ 0.043543 ┆ 0.103964 │ │ std ┆ 2.462931 ┆ 2.342652 ┆ 2.285411 │ │ min ┆ -9.344307 ┆ -8.32865 ┆ -6.655403 │ │ 25% ┆ -1.567079 ┆ -1.571011 ┆ -1.564671 │ │ 50% ┆ 0.025493 ┆ 0.050425 ┆ 0.044735 │ │ 75% ┆ 1.729651 ┆ 1.63502 ┆ 1.726024 │ │ max ┆ 7.3889 ┆ 6.742461 ┆ 5.79613 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04827 ┆ 0.043543 ┆ 0.103964 │ │ std ┆ 2.462931 ┆ 2.342652 ┆ 2.285411 │ │ min ┆ -9.344307 ┆ -8.32865 ┆ -6.655403 │ │ 25% ┆ -1.567079 ┆ -1.571011 ┆ -1.564671 │ │ 50% ┆ 0.025493 ┆ 0.050425 ┆ 0.044735 │ │ 75% ┆ 1.729651 ┆ 1.63502 ┆ 1.726024 │ │ max ┆ 7.3889 ┆ 6.742461 ┆ 5.79613 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 511 ┆ 3 │ │ 2039 ┆ 3 │ │ 62 ┆ 2 │ │ 290 ┆ 2 │ │ 296 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.06214 ┆ 2.455 ┆ 0.06214 ┆ 2.455 ┆ -3.067 ┆ -1.543 ┆ 0.01574 ┆ 1.773 ┆ 3.311 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04827 ┆ 2.463 ┆ 0.04827 ┆ 2.463 ┆ -3.125 ┆ -1.569 ┆ 0.01574 ┆ 1.73 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.132 ┆ 2.412 ┆ 0.132 ┆ 2.412 ┆ -2.727 ┆ -1.487 ┆ -0.007669 ┆ 1.878 ┆ 3.488 ┆ -7.356 ┆ 6.572 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1777968209}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.3909 ┆ 0.3147 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3097 ┆ 0.3593 ┆ 0 ┆ 0.04799 ┆ 0 ┆ -0.03263 │ │ x2 ┆ 0.2994 ┆ 0.326 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.013892 ┆ -0.011959 ┆ -0.014209 │ │ std ┆ 1.296681 ┆ 0.914201 ┆ 0.95517 │ │ min ┆ -4.294867 ┆ -3.365657 ┆ -2.898905 │ │ 25% ┆ -0.889399 ┆ -0.63162 ┆ -0.65359 │ │ 50% ┆ -0.022028 ┆ -0.024118 ┆ -0.01478 │ │ 75% ┆ 0.898814 ┆ 0.618603 ┆ 0.627899 │ │ max ┆ 4.045241 ┆ 3.007462 ┆ 2.608717 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.013892 ┆ -0.011959 ┆ -0.014209 │ │ std ┆ 1.296681 ┆ 0.914201 ┆ 0.95517 │ │ min ┆ -4.294867 ┆ -3.365657 ┆ -2.898905 │ │ 25% ┆ -0.889399 ┆ -0.63162 ┆ -0.65359 │ │ 50% ┆ -0.022028 ┆ -0.024118 ┆ -0.01478 │ │ 75% ┆ 0.898814 ┆ 0.618603 ┆ 0.627899 │ │ max ┆ 4.045241 ┆ 3.007462 ┆ 2.608717 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 62 ┆ 3 │ │ 354 ┆ 3 │ │ 1530 ┆ 3 │ │ 2408 ┆ 3 │ │ 2544 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.009752 ┆ 1.303 ┆ -0.009752 ┆ 1.303 ┆ -1.706 ┆ -0.8894 ┆ -0.02203 ┆ 0.9233 ┆ 1.668 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.01389 ┆ 1.297 ┆ -0.01389 ┆ 1.297 ┆ -1.695 ┆ -0.8914 ┆ -0.02244 ┆ 0.8988 ┆ 1.651 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.01051 ┆ 1.336 ┆ 0.01051 ┆ 1.336 ┆ -1.823 ┆ -0.8834 ┆ -0.0109 ┆ 1.004 ┆ 1.777 ┆ -3.516 ┆ 3.322 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 4148635464}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7617 ┆ 0.313 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1711 ┆ 0.345 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06717 ┆ 0.342 ┆ 0 ┆ -0.01544 ┆ 0 ┆ 0.01953 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.047995 ┆ 0.063276 ┆ 0.121073 │ │ std ┆ 2.467799 ┆ 2.315245 ┆ 2.257575 │ │ min ┆ -9.344307 ┆ -6.973151 ┆ -6.432636 │ │ 25% ┆ -1.543324 ┆ -1.442293 ┆ -1.396152 │ │ 50% ┆ 0.013614 ┆ -0.006951 ┆ -0.016153 │ │ 75% ┆ 1.730296 ┆ 1.695344 ┆ 1.766139 │ │ max ┆ 7.3889 ┆ 6.964984 ┆ 5.286129 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.047995 ┆ 0.063276 ┆ 0.121073 │ │ std ┆ 2.467799 ┆ 2.315245 ┆ 2.257575 │ │ min ┆ -9.344307 ┆ -6.973151 ┆ -6.432636 │ │ 25% ┆ -1.543324 ┆ -1.442293 ┆ -1.396152 │ │ 50% ┆ 0.013614 ┆ -0.006951 ┆ -0.016153 │ │ 75% ┆ 1.730296 ┆ 1.695344 ┆ 1.766139 │ │ max ┆ 7.3889 ┆ 6.964984 ┆ 5.286129 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 868 ┆ 3 │ │ 2866 ┆ 3 │ │ 2972 ┆ 3 │ │ 10 ┆ 2 │ │ 11 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05765 ┆ 2.464 ┆ 0.05765 ┆ 2.464 ┆ -3.142 ┆ -1.555 ┆ 0.009659 ┆ 1.761 ┆ 3.318 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04799 ┆ 2.468 ┆ 0.04799 ┆ 2.468 ┆ -3.21 ┆ -1.544 ┆ 0.01158 ┆ 1.73 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1063 ┆ 2.445 ┆ 0.1063 ┆ 2.445 ┆ -3.003 ┆ -1.585 ┆ 0.00009122 ┆ 1.843 ┆ 3.5 ┆ -7.576 ┆ 6.349 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2026843117}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4353 ┆ 0.3383 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2841 ┆ 0.3337 ┆ 0 ┆ 0.04289 ┆ 0 ┆ -0.02872 │ │ x2 ┆ 0.2806 ┆ 0.328 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.015441 ┆ -0.009551 ┆ -0.011486 │ │ std ┆ 1.297965 ┆ 0.935016 ┆ 0.981497 │ │ min ┆ -4.294867 ┆ -2.902445 ┆ -2.902445 │ │ 25% ┆ -0.891405 ┆ -0.622474 ┆ -0.691247 │ │ 50% ┆ -0.035907 ┆ -0.033843 ┆ -0.014679 │ │ 75% ┆ 0.903149 ┆ 0.60977 ┆ 0.654501 │ │ max ┆ 4.045241 ┆ 2.910158 ┆ 2.910158 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.015441 ┆ -0.009551 ┆ -0.011486 │ │ std ┆ 1.297965 ┆ 0.935016 ┆ 0.981497 │ │ min ┆ -4.294867 ┆ -2.902445 ┆ -2.902445 │ │ 25% ┆ -0.891405 ┆ -0.622474 ┆ -0.691247 │ │ 50% ┆ -0.035907 ┆ -0.033843 ┆ -0.014679 │ │ 75% ┆ 0.903149 ┆ 0.60977 ┆ 0.654501 │ │ max ┆ 4.045241 ┆ 2.910158 ┆ 2.910158 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 148 ┆ 3 │ │ 317 ┆ 3 │ │ 594 ┆ 3 │ │ 768 ┆ 3 │ │ 1168 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01996 ┆ 1.307 ┆ -0.01996 ┆ 1.307 ┆ -1.706 ┆ -0.9072 ┆ -0.03271 ┆ 0.9209 ┆ 1.68 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.01544 ┆ 1.298 ┆ -0.01544 ┆ 1.298 ┆ -1.695 ┆ -0.8914 ┆ -0.03672 ┆ 0.9031 ┆ 1.671 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.04207 ┆ 1.353 ┆ -0.04207 ┆ 1.353 ┆ -1.858 ┆ -0.9899 ┆ -0.02971 ┆ 0.9585 ┆ 1.708 ┆ -4.295 ┆ 3.656 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3324836173}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7593 ┆ 0.3107 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1692 ┆ 0.328 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.0715 ┆ 0.3613 ┆ 0 ┆ -0.02618 ┆ 0 ┆ -0.02109 │ └─────────┴────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.042891 ┆ 0.041838 ┆ 0.096276 │ │ std ┆ 2.473895 ┆ 2.353569 ┆ 2.310884 │ │ min ┆ -9.344307 ┆ -8.14825 ┆ -6.924312 │ │ 25% ┆ -1.57279 ┆ -1.507254 ┆ -1.475358 │ │ 50% ┆ 0.01105 ┆ 0.026947 ┆ -0.037245 │ │ 75% ┆ 1.729651 ┆ 1.694734 ┆ 1.735107 │ │ max ┆ 7.3889 ┆ 6.691738 ┆ 5.458079 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.042891 ┆ 0.041838 ┆ 0.096276 │ │ std ┆ 2.473895 ┆ 2.353569 ┆ 2.310884 │ │ min ┆ -9.344307 ┆ -8.14825 ┆ -6.924312 │ │ 25% ┆ -1.57279 ┆ -1.507254 ┆ -1.475358 │ │ 50% ┆ 0.01105 ┆ 0.026947 ┆ -0.037245 │ │ 75% ┆ 1.729651 ┆ 1.694734 ┆ 1.735107 │ │ max ┆ 7.3889 ┆ 6.691738 ┆ 5.458079 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1276 ┆ 3 │ │ 10 ┆ 2 │ │ 201 ┆ 2 │ │ 215 ┆ 2 │ │ 357 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04689 ┆ 2.468 ┆ 0.04689 ┆ 2.468 ┆ -3.125 ┆ -1.573 ┆ 0.00009122 ┆ 1.755 ┆ 3.3 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04289 ┆ 2.474 ┆ 0.04289 ┆ 2.474 ┆ -3.237 ┆ -1.574 ┆ 0.009659 ┆ 1.73 ┆ 3.3 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.06702 ┆ 2.438 ┆ 0.06702 ┆ 2.438 ┆ -2.889 ┆ -1.569 ┆ -0.1277 ┆ 1.856 ┆ 3.296 ┆ -7.183 ┆ 6.137 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 261750138}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4574 ┆ 0.3373 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2988 ┆ 0.341 ┆ 0 ┆ 0.03509 ┆ 0 ┆ -0.04376 │ │ x2 ┆ 0.2437 ┆ 0.3217 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.026185 ┆ -0.040364 ┆ -0.038357 │ │ std ┆ 1.301514 ┆ 0.949466 ┆ 0.993364 │ │ min ┆ -4.294867 ┆ -2.96552 ┆ -2.569771 │ │ 25% ┆ -0.90946 ┆ -0.68485 ┆ -0.746323 │ │ 50% ┆ -0.036721 ┆ -0.074941 ┆ -0.087906 │ │ 75% ┆ 0.889898 ┆ 0.627147 ┆ 0.687123 │ │ max ┆ 4.045241 ┆ 3.504548 ┆ 2.734782 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.026185 ┆ -0.040364 ┆ -0.038357 │ │ std ┆ 1.301514 ┆ 0.949466 ┆ 0.993364 │ │ min ┆ -4.294867 ┆ -2.96552 ┆ -2.569771 │ │ 25% ┆ -0.90946 ┆ -0.68485 ┆ -0.746323 │ │ 50% ┆ -0.036721 ┆ -0.074941 ┆ -0.087906 │ │ 75% ┆ 0.889898 ┆ 0.627147 ┆ 0.687123 │ │ max ┆ 4.045241 ┆ 3.504548 ┆ 2.734782 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 338 ┆ 3 │ │ 1040 ┆ 3 │ │ 2321 ┆ 3 │ │ 14 ┆ 2 │ │ 65 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.03275 ┆ 1.3 ┆ -0.03275 ┆ 1.3 ┆ -1.701 ┆ -0.9207 ┆ -0.04608 ┆ 0.8871 ┆ 1.662 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02618 ┆ 1.302 ┆ -0.02618 ┆ 1.302 ┆ -1.69 ┆ -0.9096 ┆ -0.03736 ┆ 0.8899 ┆ 1.66 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.06491 ┆ 1.292 ┆ -0.06491 ┆ 1.292 ┆ -1.81 ┆ -0.9689 ┆ -0.1101 ┆ 0.869 ┆ 1.681 ┆ -3.867 ┆ 3.322 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2445222182}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7515 ┆ 0.3077 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1796 ┆ 0.3397 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06883 ┆ 0.3527 ┆ 0 ┆ -0.03085 ┆ 0 ┆ 0.009749 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035095 ┆ 0.014814 ┆ 0.067802 │ │ std ┆ 2.472395 ┆ 2.329384 ┆ 2.298375 │ │ min ┆ -9.344307 ┆ -7.676312 ┆ -6.775229 │ │ 25% ┆ -1.568774 ┆ -1.492961 ┆ -1.39288 │ │ 50% ┆ 0.001001 ┆ -0.019311 ┆ -0.013315 │ │ 75% ┆ 1.729615 ┆ 1.660621 ┆ 1.697149 │ │ max ┆ 7.3889 ┆ 6.70854 ┆ 5.36098 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035095 ┆ 0.014814 ┆ 0.067802 │ │ std ┆ 2.472395 ┆ 2.329384 ┆ 2.298375 │ │ min ┆ -9.344307 ┆ -7.676312 ┆ -6.775229 │ │ 25% ┆ -1.568774 ┆ -1.492961 ┆ -1.39288 │ │ 50% ┆ 0.001001 ┆ -0.019311 ┆ -0.013315 │ │ 75% ┆ 1.729615 ┆ 1.660621 ┆ 1.697149 │ │ max ┆ 7.3889 ┆ 6.70854 ┆ 5.36098 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 399 ┆ 3 │ │ 1696 ┆ 3 │ │ 2176 ┆ 3 │ │ 182 ┆ 2 │ │ 225 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04196 ┆ 2.464 ┆ 0.04196 ┆ 2.464 ┆ -3.091 ┆ -1.585 ┆ -0.007669 ┆ 1.754 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03509 ┆ 2.472 ┆ 0.03509 ┆ 2.472 ┆ -3.197 ┆ -1.569 ┆ 0.00009122 ┆ 1.73 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.0765 ┆ 2.421 ┆ 0.0765 ┆ 2.421 ┆ -2.831 ┆ -1.695 ┆ -0.05492 ┆ 1.847 ┆ 3.311 ┆ -9.344 ┆ 6.438 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1511260644}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4356 ┆ 0.3123 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3101 ┆ 0.3483 ┆ 0 ┆ 0.03698 ┆ 0 ┆ -0.03367 │ │ x2 ┆ 0.2543 ┆ 0.3393 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.030851 ┆ -0.047234 ┆ -0.048266 │ │ std ┆ 1.288853 ┆ 0.927823 ┆ 0.985832 │ │ min ┆ -4.294867 ┆ -2.877426 ┆ -2.743666 │ │ 25% ┆ -0.904999 ┆ -0.659576 ┆ -0.695938 │ │ 50% ┆ -0.051089 ┆ -0.111279 ┆ -0.122886 │ │ 75% ┆ 0.868993 ┆ 0.62866 ┆ 0.715363 │ │ max ┆ 4.045241 ┆ 3.394789 ┆ 2.945831 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.030851 ┆ -0.047234 ┆ -0.048266 │ │ std ┆ 1.288853 ┆ 0.927823 ┆ 0.985832 │ │ min ┆ -4.294867 ┆ -2.877426 ┆ -2.743666 │ │ 25% ┆ -0.904999 ┆ -0.659576 ┆ -0.695938 │ │ 50% ┆ -0.051089 ┆ -0.111279 ┆ -0.122886 │ │ 75% ┆ 0.868993 ┆ 0.62866 ┆ 0.715363 │ │ max ┆ 4.045241 ┆ 3.394789 ┆ 2.945831 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 21 ┆ 3 │ │ 13 ┆ 2 │ │ 37 ┆ 2 │ │ 205 ┆ 2 │ │ 211 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02937 ┆ 1.302 ┆ -0.02937 ┆ 1.302 ┆ -1.701 ┆ -0.9095 ┆ -0.04226 ┆ 0.8703 ┆ 1.703 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.03085 ┆ 1.289 ┆ -0.03085 ┆ 1.289 ┆ -1.688 ┆ -0.9058 ┆ -0.05134 ┆ 0.869 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.0221 ┆ 1.368 ┆ -0.0221 ┆ 1.368 ┆ -1.809 ┆ -0.963 ┆ 0.008264 ┆ 0.9492 ┆ 1.841 ┆ -3.867 ┆ 3.52 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3714500342}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7521 ┆ 0.3027 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1764 ┆ 0.3327 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07158 ┆ 0.3647 ┆ 0 ┆ -0.02211 ┆ 0 ┆ 0.00306 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.036978 ┆ 0.059891 ┆ 0.111171 │ │ std ┆ 2.469113 ┆ 2.363882 ┆ 2.298176 │ │ min ┆ -9.344307 ┆ -8.220657 ┆ -7.678871 │ │ 25% ┆ -1.587597 ┆ -1.472488 ┆ -1.429458 │ │ 50% ┆ 0.009659 ┆ 0.000825 ┆ 0.0237 │ │ 75% ┆ 1.726937 ┆ 1.674919 ┆ 1.711796 │ │ max ┆ 7.3889 ┆ 6.922278 ┆ 5.921086 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.036978 ┆ 0.059891 ┆ 0.111171 │ │ std ┆ 2.469113 ┆ 2.363882 ┆ 2.298176 │ │ min ┆ -9.344307 ┆ -8.220657 ┆ -7.678871 │ │ 25% ┆ -1.587597 ┆ -1.472488 ┆ -1.429458 │ │ 50% ┆ 0.009659 ┆ 0.000825 ┆ 0.0237 │ │ 75% ┆ 1.726937 ┆ 1.674919 ┆ 1.711796 │ │ max ┆ 7.3889 ┆ 6.922278 ┆ 5.921086 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 521 ┆ 3 │ │ 944 ┆ 3 │ │ 56 ┆ 2 │ │ 83 ┆ 2 │ │ 87 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04225 ┆ 2.454 ┆ 0.04225 ┆ 2.454 ┆ -3.098 ┆ -1.597 ┆ 0.004367 ┆ 1.719 ┆ 3.296 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03698 ┆ 2.469 ┆ 0.03698 ┆ 2.469 ┆ -3.15 ┆ -1.595 ┆ 0.009275 ┆ 1.727 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.06879 ┆ 2.38 ┆ 0.06879 ┆ 2.38 ┆ -2.997 ┆ -1.636 ┆ -0.01923 ┆ 1.644 ┆ 3.321 ┆ -7.356 ┆ 6.572 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2844506799}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4188 ┆ 0.3537 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3035 ┆ 0.3513 ┆ 0 ┆ 0.03545 ┆ 0 ┆ -0.0347 │ │ x2 ┆ 0.2777 ┆ 0.295 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.031901 ┆ -0.007664 │ │ std ┆ 1.304574 ┆ 0.960462 ┆ 1.039301 │ │ min ┆ -4.294867 ┆ -2.924239 ┆ -2.628609 │ │ 25% ┆ -0.899144 ┆ -0.674949 ┆ -0.744405 │ │ 50% ┆ -0.035907 ┆ -0.11378 ┆ -0.116132 │ │ 75% ┆ 0.870313 ┆ 0.653325 ┆ 0.77101 │ │ max ┆ 4.045241 ┆ 3.09128 ┆ 2.915999 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.031901 ┆ -0.007664 │ │ std ┆ 1.304574 ┆ 0.960462 ┆ 1.039301 │ │ min ┆ -4.294867 ┆ -2.924239 ┆ -2.628609 │ │ 25% ┆ -0.899144 ┆ -0.674949 ┆ -0.744405 │ │ 50% ┆ -0.035907 ┆ -0.11378 ┆ -0.116132 │ │ 75% ┆ 0.870313 ┆ 0.653325 ┆ 0.77101 │ │ max ┆ 4.045241 ┆ 3.09128 ┆ 2.915999 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2905 ┆ 4 │ │ 2770 ┆ 3 │ │ 3 ┆ 2 │ │ 67 ┆ 2 │ │ 86 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01146 ┆ 1.318 ┆ -0.01146 ┆ 1.318 ┆ -1.701 ┆ -0.9095 ┆ -0.01521 ┆ 0.897 ┆ 1.743 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02211 ┆ 1.305 ┆ -0.02211 ┆ 1.305 ┆ -1.695 ┆ -0.9015 ┆ -0.03672 ┆ 0.8703 ┆ 1.703 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.04065 ┆ 1.381 ┆ 0.04065 ┆ 1.381 ┆ -1.768 ┆ -0.9989 ┆ 0.08909 ┆ 0.9984 ┆ 1.917 ┆ -4.295 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3268458807}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬───────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪═══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7527 ┆ 0.309 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1821 ┆ 0.336 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06518 ┆ 0.355 ┆ 0 ┆ -0.009282 ┆ 0 ┆ 0.01856 │ └─────────┴─────────┴───────────┴─────────────────┴───────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035447 ┆ 0.025449 ┆ 0.073319 │ │ std ┆ 2.461229 ┆ 2.322726 ┆ 2.265377 │ │ min ┆ -9.344307 ┆ -7.740615 ┆ -6.302328 │ │ 25% ┆ -1.575541 ┆ -1.455318 ┆ -1.439378 │ │ 50% ┆ 0.009275 ┆ -0.004419 ┆ -0.011191 │ │ 75% ┆ 1.691577 ┆ 1.558182 ┆ 1.545811 │ │ max ┆ 7.3889 ┆ 6.739576 ┆ 6.077202 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035447 ┆ 0.025449 ┆ 0.073319 │ │ std ┆ 2.461229 ┆ 2.322726 ┆ 2.265377 │ │ min ┆ -9.344307 ┆ -7.740615 ┆ -6.302328 │ │ 25% ┆ -1.575541 ┆ -1.455318 ┆ -1.439378 │ │ 50% ┆ 0.009275 ┆ -0.004419 ┆ -0.011191 │ │ 75% ┆ 1.691577 ┆ 1.558182 ┆ 1.545811 │ │ max ┆ 7.3889 ┆ 6.739576 ┆ 6.077202 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 220 ┆ 4 │ │ 80 ┆ 3 │ │ 1949 ┆ 3 │ │ 106 ┆ 2 │ │ 130 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.042 ┆ 2.449 ┆ 0.042 ┆ 2.449 ┆ -3.142 ┆ -1.573 ┆ 0.002043 ┆ 1.692 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03545 ┆ 2.461 ┆ 0.03545 ┆ 2.461 ┆ -3.231 ┆ -1.576 ┆ 0.008964 ┆ 1.692 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.07499 ┆ 2.388 ┆ 0.07499 ┆ 2.388 ┆ -2.965 ┆ -1.544 ┆ -0.04118 ┆ 1.699 ┆ 3.335 ┆ -7.011 ┆ 7.269 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3350578201}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4286 ┆ 0.321 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.298 ┆ 0.3663 ┆ 0 ┆ 0.03668 ┆ 0 ┆ -0.04598 │ │ x2 ┆ 0.2734 ┆ 0.3127 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.009282 ┆ -0.014511 ┆ -0.003064 │ │ std ┆ 1.307739 ┆ 0.972849 ┆ 1.056098 │ │ min ┆ -4.294867 ┆ -3.47887 ┆ -3.47887 │ │ 25% ┆ -0.904999 ┆ -0.668314 ┆ -0.705682 │ │ 50% ┆ -0.015292 ┆ -0.069127 ┆ -0.035612 │ │ 75% ┆ 0.891344 ┆ 0.68135 ┆ 0.734093 │ │ max ┆ 4.045241 ┆ 3.243992 ┆ 2.828047 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.009282 ┆ -0.014511 ┆ -0.003064 │ │ std ┆ 1.307739 ┆ 0.972849 ┆ 1.056098 │ │ min ┆ -4.294867 ┆ -3.47887 ┆ -3.47887 │ │ 25% ┆ -0.904999 ┆ -0.668314 ┆ -0.705682 │ │ 50% ┆ -0.015292 ┆ -0.069127 ┆ -0.035612 │ │ 75% ┆ 0.891344 ┆ 0.68135 ┆ 0.734093 │ │ max ┆ 4.045241 ┆ 3.243992 ┆ 2.828047 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 353 ┆ 3 │ │ 1036 ┆ 3 │ │ 2262 ┆ 3 │ │ 2544 ┆ 3 │ │ 0 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01393 ┆ 1.315 ┆ -0.01393 ┆ 1.315 ┆ -1.702 ┆ -0.9278 ┆ -0.01573 ┆ 0.897 ┆ 1.703 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.009282 ┆ 1.308 ┆ -0.009282 ┆ 1.308 ┆ -1.69 ┆ -0.9058 ┆ -0.01563 ┆ 0.8913 ┆ 1.681 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.03665 ┆ 1.353 ┆ -0.03665 ┆ 1.353 ┆ -1.759 ┆ -1.017 ┆ -0.02971 ┆ 0.936 ┆ 1.775 ┆ -3.254 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3982370778}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7257 ┆ 0.3343 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.2074 ┆ 0.3303 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06688 ┆ 0.3353 ┆ 0 ┆ -0.02508 ┆ 0 ┆ 0.005496 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.036678 ┆ 0.027807 ┆ 0.079978 │ │ std ┆ 2.462705 ┆ 2.338532 ┆ 2.249678 │ │ min ┆ -9.344307 ┆ -8.31357 ┆ -6.841789 │ │ 25% ┆ -1.558242 ┆ -1.416859 ┆ -1.35223 │ │ 50% ┆ 0.008041 ┆ -0.012552 ┆ -0.10368 │ │ 75% ┆ 1.698653 ┆ 1.568645 ┆ 1.561896 │ │ max ┆ 7.3889 ┆ 6.916937 ┆ 5.99092 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.036678 ┆ 0.027807 ┆ 0.079978 │ │ std ┆ 2.462705 ┆ 2.338532 ┆ 2.249678 │ │ min ┆ -9.344307 ┆ -8.31357 ┆ -6.841789 │ │ 25% ┆ -1.558242 ┆ -1.416859 ┆ -1.35223 │ │ 50% ┆ 0.008041 ┆ -0.012552 ┆ -0.10368 │ │ 75% ┆ 1.698653 ┆ 1.568645 ┆ 1.561896 │ │ max ┆ 7.3889 ┆ 6.916937 ┆ 5.99092 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 0 ┆ 3 │ │ 1004 ┆ 3 │ │ 1435 ┆ 3 │ │ 108 ┆ 2 │ │ 122 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04482 ┆ 2.45 ┆ 0.04482 ┆ 2.45 ┆ -3.098 ┆ -1.567 ┆ 0.009275 ┆ 1.699 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03668 ┆ 2.463 ┆ 0.03668 ┆ 2.463 ┆ -3.197 ┆ -1.565 ┆ 0.008041 ┆ 1.699 ┆ 3.292 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.08582 ┆ 2.389 ┆ 0.08582 ┆ 2.389 ┆ -2.67 ┆ -1.576 ┆ 0.02782 ┆ 1.726 ┆ 3.386 ┆ -7.011 ┆ 7.269 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 846843155}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4121 ┆ 0.3093 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3055 ┆ 0.3527 ┆ 0 ┆ 0.03883 ┆ 0 ┆ -0.03834 │ │ x2 ┆ 0.2825 ┆ 0.338 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.025077 ┆ -0.015041 ┆ -0.008718 │ │ std ┆ 1.301522 ┆ 0.970071 ┆ 1.042923 │ │ min ┆ -4.294867 ┆ -3.109932 ┆ -2.687252 │ │ 25% ┆ -0.916435 ┆ -0.658973 ┆ -0.756157 │ │ 50% ┆ -0.036721 ┆ -0.068007 ┆ -0.05045 │ │ 75% ┆ 0.870198 ┆ 0.691556 ┆ 0.74995 │ │ max ┆ 4.045241 ┆ 3.096949 ┆ 2.933848 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.025077 ┆ -0.015041 ┆ -0.008718 │ │ std ┆ 1.301522 ┆ 0.970071 ┆ 1.042923 │ │ min ┆ -4.294867 ┆ -3.109932 ┆ -2.687252 │ │ 25% ┆ -0.916435 ┆ -0.658973 ┆ -0.756157 │ │ 50% ┆ -0.036721 ┆ -0.068007 ┆ -0.05045 │ │ 75% ┆ 0.870198 ┆ 0.691556 ┆ 0.74995 │ │ max ┆ 4.045241 ┆ 3.096949 ┆ 2.933848 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1372 ┆ 3 │ │ 49 ┆ 2 │ │ 66 ┆ 2 │ │ 75 ┆ 2 │ │ 123 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02825 ┆ 1.321 ┆ -0.02825 ┆ 1.321 ┆ -1.711 ┆ -0.9544 ┆ -0.0401 ┆ 0.8899 ┆ 1.7 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02508 ┆ 1.302 ┆ -0.02508 ┆ 1.302 ┆ -1.695 ┆ -0.9202 ┆ -0.03736 ┆ 0.8702 ┆ 1.668 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.04376 ┆ 1.412 ┆ -0.04376 ┆ 1.412 ┆ -1.816 ┆ -1.062 ┆ -0.04608 ┆ 0.9635 ┆ 1.831 ┆ -3.435 ┆ 3.689 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
y1
y2
Final Estimates by Iteration
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/3.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 710437391}
Iterations: 100
Model: y1=f(x1, x2, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬──────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7869 ┆ 0.4927 ┆ 0 ┆ 0.01674 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.2131 ┆ 0.5073 ┆ 0 ┆ 0.003833 ┆ 0 ┆ 0.01459 │ └─────────┴────────┴───────────┴─────────────────┴──────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.037432 ┆ 0.085764 │ │ std ┆ 2.481378 ┆ 2.301817 ┆ 2.233838 │ │ min ┆ -9.344307 ┆ -7.937535 ┆ -5.999496 │ │ 25% ┆ -1.568774 ┆ -1.526131 ┆ -1.45006 │ │ 50% ┆ 0.013614 ┆ 0.042782 ┆ 0.054127 │ │ 75% ┆ 1.693908 ┆ 1.59983 ┆ 1.571422 │ │ max ┆ 7.3889 ┆ 6.258565 ┆ 5.609837 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2404.0 ┆ 2404.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.02718 ┆ 0.037432 ┆ 0.085764 │ │ std ┆ 2.481378 ┆ 2.301817 ┆ 2.233838 │ │ min ┆ -9.344307 ┆ -7.937535 ┆ -5.999496 │ │ 25% ┆ -1.568774 ┆ -1.526131 ┆ -1.45006 │ │ 50% ┆ 0.013614 ┆ 0.042782 ┆ 0.054127 │ │ 75% ┆ 1.693908 ┆ 1.59983 ┆ 1.571422 │ │ max ┆ 7.3889 ┆ 6.258565 ┆ 5.609837 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 226 ┆ 3 │ │ 1199 ┆ 3 │ │ 1987 ┆ 3 │ │ 2146 ┆ 3 │ │ 67 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3000 ┆ 3000 ┆ 0.03774 ┆ 2.473 ┆ 0.03774 ┆ 2.473 ┆ -3.248 ┆ -1.582 ┆ 0.01361 ┆ 1.711 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 2404 ┆ 2404 ┆ 0.02718 ┆ 2.481 ┆ 0.02718 ┆ 2.481 ┆ -3.259 ┆ -1.573 ┆ 0.01158 ┆ 1.694 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.08033 ┆ 2.44 ┆ 0.08033 ┆ 2.44 ┆ -3.21 ┆ -1.688 ┆ 0.01437 ┆ 1.793 ┆ 3.366 ┆ -7.011 ┆ 6.449 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1756493415}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4119 ┆ 0.3027 ┆ 0 ┆ 0.03035 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.3112 ┆ 0.3297 ┆ 0 ┆ 0.00414 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2769 ┆ 0.3677 ┆ 0 ┆ 0.05986 ┆ 0 ┆ -0.04839 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.026722 ┆ -0.049605 │ │ std ┆ 1.288127 ┆ 0.882923 ┆ 0.911626 │ │ min ┆ -4.294867 ┆ -2.992171 ┆ -2.584057 │ │ 25% ┆ -0.891405 ┆ -0.602069 ┆ -0.596375 │ │ 50% ┆ -0.040102 ┆ -0.079113 ┆ -0.084122 │ │ 75% ┆ 0.868993 ┆ 0.573472 ┆ 0.574574 │ │ max ┆ 4.045241 ┆ 3.391508 ┆ 2.680142 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 2387.0 ┆ 2387.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022105 ┆ -0.026722 ┆ -0.049605 │ │ std ┆ 1.288127 ┆ 0.882923 ┆ 0.911626 │ │ min ┆ -4.294867 ┆ -2.992171 ┆ -2.584057 │ │ 25% ┆ -0.891405 ┆ -0.602069 ┆ -0.596375 │ │ 50% ┆ -0.040102 ┆ -0.079113 ┆ -0.084122 │ │ 75% ┆ 0.868993 ┆ 0.573472 ┆ 0.574574 │ │ max ┆ 4.045241 ┆ 3.391508 ┆ 2.680142 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 163 ┆ 3 │ │ 308 ┆ 3 │ │ 932 ┆ 3 │ │ 1418 ┆ 3 │ │ 1732 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3000 ┆ 3000 ┆ -0.0136 ┆ 1.289 ┆ -0.0136 ┆ 1.289 ┆ -1.639 ┆ -0.8894 ┆ -0.03736 ┆ 0.8702 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 2387 ┆ 2387 ┆ -0.02211 ┆ 1.288 ┆ -0.02211 ┆ 1.288 ┆ -1.653 ┆ -0.8914 ┆ -0.0401 ┆ 0.869 ┆ 1.658 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.01952 ┆ 1.291 ┆ 0.01952 ┆ 1.291 ┆ -1.592 ┆ -0.8604 ┆ -0.01999 ┆ 0.913 ┆ 1.66 ┆ -3.516 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 4293869131}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7406 ┆ 0.3103 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.207 ┆ 0.3513 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.05241 ┆ 0.3383 ┆ 0 ┆ -0.0136 ┆ 0 ┆ -0.006951 │ └─────────┴─────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.03774 ┆ 0.063423 ┆ 0.115209 │ │ std ┆ 2.472981 ┆ 2.31925 ┆ 2.260564 │ │ min ┆ -9.344307 ┆ -8.57295 ┆ -6.854487 │ │ 25% ┆ -1.581776 ┆ -1.397809 ┆ -1.366557 │ │ 50% ┆ 0.014368 ┆ 0.070659 ┆ 0.07714 │ │ 75% ┆ 1.710517 ┆ 1.62125 ┆ 1.656761 │ │ max ┆ 7.3889 ┆ 6.803705 ┆ 5.856545 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.03774 ┆ 0.063423 ┆ 0.115209 │ │ std ┆ 2.472981 ┆ 2.31925 ┆ 2.260564 │ │ min ┆ -9.344307 ┆ -8.57295 ┆ -6.854487 │ │ 25% ┆ -1.581776 ┆ -1.397809 ┆ -1.366557 │ │ 50% ┆ 0.014368 ┆ 0.070659 ┆ 0.07714 │ │ 75% ┆ 1.710517 ┆ 1.62125 ┆ 1.656761 │ │ max ┆ 7.3889 ┆ 6.803705 ┆ 5.856545 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1668 ┆ 3 │ │ 1925 ┆ 3 │ │ 1959 ┆ 3 │ │ 17 ┆ 2 │ │ 115 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05232 ┆ 2.462 ┆ 0.05232 ┆ 2.462 ┆ -3.17 ┆ -1.577 ┆ 0.01437 ┆ 1.738 ┆ 3.313 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03774 ┆ 2.473 ┆ 0.03774 ┆ 2.473 ┆ -3.249 ┆ -1.582 ┆ 0.01361 ┆ 1.711 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1257 ┆ 2.406 ┆ 0.1257 ┆ 2.406 ┆ -3.003 ┆ -1.558 ┆ 0.04848 ┆ 1.848 ┆ 3.515 ┆ -7.011 ┆ 6.302 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3853453576}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4402 ┆ 0.3263 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.2911 ┆ 0.32 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2687 ┆ 0.3537 ┆ 0 ┆ 0.04676 ┆ 0 ┆ -0.04444 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.013599 ┆ -0.03909 ┆ -0.026973 │ │ std ┆ 1.288595 ┆ 0.915658 ┆ 0.941769 │ │ min ┆ -4.294867 ┆ -3.12688 ┆ -2.753167 │ │ 25% ┆ -0.889229 ┆ -0.634755 ┆ -0.66159 │ │ 50% ┆ -0.036721 ┆ -0.089711 ┆ -0.062393 │ │ 75% ┆ 0.870198 ┆ 0.577929 ┆ 0.612492 │ │ max ┆ 4.045241 ┆ 3.440319 ┆ 2.834018 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.013599 ┆ -0.03909 ┆ -0.026973 │ │ std ┆ 1.288595 ┆ 0.915658 ┆ 0.941769 │ │ min ┆ -4.294867 ┆ -3.12688 ┆ -2.753167 │ │ 25% ┆ -0.889229 ┆ -0.634755 ┆ -0.66159 │ │ 50% ┆ -0.036721 ┆ -0.089711 ┆ -0.062393 │ │ 75% ┆ 0.870198 ┆ 0.577929 ┆ 0.612492 │ │ max ┆ 4.045241 ┆ 3.440319 ┆ 2.834018 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 576 ┆ 3 │ │ 2827 ┆ 3 │ │ 97 ┆ 2 │ │ 117 ┆ 2 │ │ 137 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01386 ┆ 1.288 ┆ -0.01386 ┆ 1.288 ┆ -1.639 ┆ -0.8991 ┆ -0.02411 ┆ 0.8702 ┆ 1.658 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.0136 ┆ 1.289 ┆ -0.0136 ┆ 1.289 ┆ -1.639 ┆ -0.8894 ┆ -0.03736 ┆ 0.8702 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.01514 ┆ 1.285 ┆ -0.01514 ┆ 1.285 ┆ -1.634 ┆ -0.9742 ┆ -0.002829 ┆ 0.8396 ┆ 1.641 ┆ -3.435 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1944232702}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7452 ┆ 0.3187 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.194 ┆ 0.3443 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06079 ┆ 0.337 ┆ 0 ┆ -0.02068 ┆ 0 ┆ -0.008073 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.046756 ┆ 0.034452 ┆ 0.102916 │ │ std ┆ 2.466526 ┆ 2.324128 ┆ 2.272004 │ │ min ┆ -9.344307 ┆ -7.494053 ┆ -6.605249 │ │ 25% ┆ -1.567079 ┆ -1.48619 ┆ -1.436267 │ │ 50% ┆ 0.014368 ┆ 0.03102 ┆ 0.083251 │ │ 75% ┆ 1.729651 ┆ 1.596163 ┆ 1.641164 │ │ max ┆ 7.3889 ┆ 6.951883 ┆ 5.857142 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.046756 ┆ 0.034452 ┆ 0.102916 │ │ std ┆ 2.466526 ┆ 2.324128 ┆ 2.272004 │ │ min ┆ -9.344307 ┆ -7.494053 ┆ -6.605249 │ │ 25% ┆ -1.567079 ┆ -1.48619 ┆ -1.436267 │ │ 50% ┆ 0.014368 ┆ 0.03102 ┆ 0.083251 │ │ 75% ┆ 1.729651 ┆ 1.596163 ┆ 1.641164 │ │ max ┆ 7.3889 ┆ 6.951883 ┆ 5.857142 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 103 ┆ 3 │ │ 1206 ┆ 3 │ │ 1456 ┆ 3 │ │ 2323 ┆ 3 │ │ 2625 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.06106 ┆ 2.453 ┆ 0.06106 ┆ 2.453 ┆ -3.1 ┆ -1.567 ┆ 0.009659 ┆ 1.755 ┆ 3.321 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04676 ┆ 2.467 ┆ 0.04676 ┆ 2.467 ┆ -3.17 ┆ -1.569 ┆ 0.01361 ┆ 1.73 ┆ 3.311 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.133 ┆ 2.384 ┆ 0.133 ┆ 2.384 ┆ -2.997 ┆ -1.558 ┆ -0.007669 ┆ 1.793 ┆ 3.392 ┆ -6.159 ┆ 6.572 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3347821544}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4105 ┆ 0.332 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.3039 ┆ 0.3257 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2856 ┆ 0.3423 ┆ 0 ┆ 0.04821 ┆ 0 ┆ -0.04745 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.020681 ┆ -0.004052 ┆ -0.002762 │ │ std ┆ 1.287225 ┆ 0.918894 ┆ 0.948827 │ │ min ┆ -4.294867 ┆ -3.413149 ┆ -2.7696 │ │ 25% ┆ -0.905823 ┆ -0.596576 ┆ -0.616063 │ │ 50% ┆ -0.024107 ┆ -0.034688 ┆ -0.009765 │ │ 75% ┆ 0.865131 ┆ 0.632483 ┆ 0.674983 │ │ max ┆ 4.045241 ┆ 3.11525 ┆ 2.99343 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.020681 ┆ -0.004052 ┆ -0.002762 │ │ std ┆ 1.287225 ┆ 0.918894 ┆ 0.948827 │ │ min ┆ -4.294867 ┆ -3.413149 ┆ -2.7696 │ │ 25% ┆ -0.905823 ┆ -0.596576 ┆ -0.616063 │ │ 50% ┆ -0.024107 ┆ -0.034688 ┆ -0.009765 │ │ 75% ┆ 0.865131 ┆ 0.632483 ┆ 0.674983 │ │ max ┆ 4.045241 ┆ 3.11525 ┆ 2.99343 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1050 ┆ 4 │ │ 215 ┆ 3 │ │ 382 ┆ 3 │ │ 1103 ┆ 3 │ │ 1625 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02816 ┆ 1.286 ┆ -0.02816 ┆ 1.286 ┆ -1.65 ┆ -0.9202 ┆ -0.03591 ┆ 0.8602 ┆ 1.651 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02068 ┆ 1.287 ┆ -0.02068 ┆ 1.287 ┆ -1.65 ┆ -0.9072 ┆ -0.02802 ┆ 0.8651 ┆ 1.651 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.06473 ┆ 1.279 ┆ -0.06473 ┆ 1.279 ┆ -1.662 ┆ -0.9894 ┆ -0.08025 ┆ 0.7957 ┆ 1.645 ┆ -3.516 ┆ 3.689 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2695567436}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7689 ┆ 0.328 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1668 ┆ 0.3293 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06427 ┆ 0.3427 ┆ 0 ┆ -0.03082 ┆ 0 ┆ 0.003502 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04821 ┆ 0.032029 ┆ 0.101559 │ │ std ┆ 2.462274 ┆ 2.331302 ┆ 2.261394 │ │ min ┆ -9.344307 ┆ -8.273644 ┆ -5.738398 │ │ 25% ┆ -1.567079 ┆ -1.492674 ┆ -1.482208 │ │ 50% ┆ 0.009275 ┆ 0.011592 ┆ 0.070636 │ │ 75% ┆ 1.726937 ┆ 1.625598 ┆ 1.608195 │ │ max ┆ 7.3889 ┆ 6.791754 ┆ 6.005978 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.04821 ┆ 0.032029 ┆ 0.101559 │ │ std ┆ 2.462274 ┆ 2.331302 ┆ 2.261394 │ │ min ┆ -9.344307 ┆ -8.273644 ┆ -5.738398 │ │ 25% ┆ -1.567079 ┆ -1.492674 ┆ -1.482208 │ │ 50% ┆ 0.009275 ┆ 0.011592 ┆ 0.070636 │ │ 75% ┆ 1.726937 ┆ 1.625598 ┆ 1.608195 │ │ max ┆ 7.3889 ┆ 6.791754 ┆ 6.005978 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1574 ┆ 3 │ │ 2121 ┆ 3 │ │ 2746 ┆ 3 │ │ 2760 ┆ 3 │ │ 59 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05548 ┆ 2.45 ┆ 0.05548 ┆ 2.45 ┆ -3.1 ┆ -1.573 ┆ 0.005581 ┆ 1.727 ┆ 3.305 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04821 ┆ 2.462 ┆ 0.04821 ┆ 2.462 ┆ -3.163 ┆ -1.567 ┆ 0.008964 ┆ 1.727 ┆ 3.296 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.0921 ┆ 2.387 ┆ 0.0921 ┆ 2.387 ┆ -3.003 ┆ -1.588 ┆ -0.01347 ┆ 1.711 ┆ 3.392 ┆ -5.693 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 725307292}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4265 ┆ 0.3157 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2921 ┆ 0.3517 ┆ 0 ┆ 0.04008 ┆ 0 ┆ -0.05732 │ │ x2 ┆ 0.2814 ┆ 0.3327 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.030815 ┆ -0.018297 ┆ -0.039169 │ │ std ┆ 1.286184 ┆ 0.930797 ┆ 0.967087 │ │ min ┆ -4.294867 ┆ -2.710936 ┆ -2.710936 │ │ 25% ┆ -0.907632 ┆ -0.656428 ┆ -0.694261 │ │ 50% ┆ -0.051089 ┆ -0.070592 ┆ -0.113435 │ │ 75% ┆ 0.862137 ┆ 0.664202 ┆ 0.688894 │ │ max ┆ 4.045241 ┆ 3.141034 ┆ 2.658566 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.030815 ┆ -0.018297 ┆ -0.039169 │ │ std ┆ 1.286184 ┆ 0.930797 ┆ 0.967087 │ │ min ┆ -4.294867 ┆ -2.710936 ┆ -2.710936 │ │ 25% ┆ -0.907632 ┆ -0.656428 ┆ -0.694261 │ │ 50% ┆ -0.051089 ┆ -0.070592 ┆ -0.113435 │ │ 75% ┆ 0.862137 ┆ 0.664202 ┆ 0.688894 │ │ max ┆ 4.045241 ┆ 3.141034 ┆ 2.658566 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1428 ┆ 3 │ │ 2050 ┆ 3 │ │ 2661 ┆ 3 │ │ 69 ┆ 2 │ │ 96 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02888 ┆ 1.287 ┆ -0.02888 ┆ 1.287 ┆ -1.645 ┆ -0.9058 ┆ -0.05134 ┆ 0.8545 ┆ 1.658 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.03082 ┆ 1.286 ┆ -0.03082 ┆ 1.286 ┆ -1.655 ┆ -0.9076 ┆ -0.05134 ┆ 0.8621 ┆ 1.655 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.01938 ┆ 1.293 ┆ -0.01938 ┆ 1.293 ┆ -1.605 ┆ -0.878 ┆ -0.05134 ┆ 0.8316 ┆ 1.666 ┆ -3.496 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 809190892}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7594 ┆ 0.3053 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1723 ┆ 0.3417 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06824 ┆ 0.353 ┆ 0 ┆ -0.02155 ┆ 0 ┆ -0.001586 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.040078 ┆ 0.045961 ┆ 0.087288 │ │ std ┆ 2.462654 ┆ 2.32079 ┆ 2.265863 │ │ min ┆ -9.344307 ┆ -7.055685 ┆ -5.897626 │ │ 25% ┆ -1.575541 ┆ -1.481615 ┆ -1.420885 │ │ 50% ┆ 0.008964 ┆ 0.037649 ┆ 0.030871 │ │ 75% ┆ 1.703988 ┆ 1.636856 ┆ 1.679729 │ │ max ┆ 7.3889 ┆ 6.689742 ┆ 5.834639 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.040078 ┆ 0.045961 ┆ 0.087288 │ │ std ┆ 2.462654 ┆ 2.32079 ┆ 2.265863 │ │ min ┆ -9.344307 ┆ -7.055685 ┆ -5.897626 │ │ 25% ┆ -1.575541 ┆ -1.481615 ┆ -1.420885 │ │ 50% ┆ 0.008964 ┆ 0.037649 ┆ 0.030871 │ │ 75% ┆ 1.703988 ┆ 1.636856 ┆ 1.679729 │ │ max ┆ 7.3889 ┆ 6.689742 ┆ 5.834639 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 254 ┆ 3 │ │ 2072 ┆ 3 │ │ 2413 ┆ 3 │ │ 2498 ┆ 3 │ │ 43 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04989 ┆ 2.454 ┆ 0.04989 ┆ 2.454 ┆ -3.163 ┆ -1.573 ┆ 0.008041 ┆ 1.704 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04008 ┆ 2.463 ┆ 0.04008 ┆ 2.463 ┆ -3.21 ┆ -1.576 ┆ 0.008964 ┆ 1.704 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.09931 ┆ 2.412 ┆ 0.09931 ┆ 2.412 ┆ -3.059 ┆ -1.505 ┆ -0.02427 ┆ 1.694 ┆ 3.208 ┆ -5.693 ┆ 6.688 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3546583860}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.421 ┆ 0.3183 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ x2 ┆ 0.2988 ┆ 0.3567 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ │ y1 ┆ 0.2803 ┆ 0.325 ┆ 0 ┆ 0.04151 ┆ 0 ┆ -0.03664 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.021548 ┆ -0.030742 ┆ -0.030049 │ │ std ┆ 1.288909 ┆ 0.935828 ┆ 0.995043 │ │ min ┆ -4.294867 ┆ -3.521328 ┆ -2.711207 │ │ 25% ┆ -0.889399 ┆ -0.675492 ┆ -0.683605 │ │ 50% ┆ -0.040459 ┆ -0.105498 ┆ -0.121301 │ │ 75% ┆ 0.862733 ┆ 0.643733 ┆ 0.689941 │ │ max ┆ 4.045241 ┆ 2.902144 ┆ 2.902144 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.021548 ┆ -0.030742 ┆ -0.030049 │ │ std ┆ 1.288909 ┆ 0.935828 ┆ 0.995043 │ │ min ┆ -4.294867 ┆ -3.521328 ┆ -2.711207 │ │ 25% ┆ -0.889399 ┆ -0.675492 ┆ -0.683605 │ │ 50% ┆ -0.040459 ┆ -0.105498 ┆ -0.121301 │ │ 75% ┆ 0.862733 ┆ 0.643733 ┆ 0.689941 │ │ max ┆ 4.045241 ┆ 2.902144 ┆ 2.902144 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2881 ┆ 3 │ │ 2 ┆ 2 │ │ 34 ┆ 2 │ │ 140 ┆ 2 │ │ 154 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01846 ┆ 1.289 ┆ -0.01846 ┆ 1.289 ┆ -1.645 ┆ -0.878 ┆ -0.03591 ┆ 0.8627 ┆ 1.655 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02155 ┆ 1.289 ┆ -0.02155 ┆ 1.289 ┆ -1.645 ┆ -0.8914 ┆ -0.04226 ┆ 0.8627 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.003321 ┆ 1.288 ┆ -0.003321 ┆ 1.288 ┆ -1.653 ┆ -0.8114 ┆ -0.01609 ┆ 0.8602 ┆ 1.579 ┆ -3.656 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 968749114}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7581 ┆ 0.303 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1661 ┆ 0.324 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.07583 ┆ 0.373 ┆ 0 ┆ -0.01827 ┆ 0 ┆ -0.001948 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.041509 ┆ 0.039461 ┆ 0.070266 │ │ std ┆ 2.467522 ┆ 2.35314 ┆ 2.283389 │ │ min ┆ -9.344307 ┆ -7.351992 ┆ -5.971848 │ │ 25% ┆ -1.558242 ┆ -1.469304 ┆ -1.427937 │ │ 50% ┆ 0.009659 ┆ 0.036832 ┆ -0.000097 │ │ 75% ┆ 1.693908 ┆ 1.615807 ┆ 1.639928 │ │ max ┆ 7.3889 ┆ 6.962716 ┆ 5.712166 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.041509 ┆ 0.039461 ┆ 0.070266 │ │ std ┆ 2.467522 ┆ 2.35314 ┆ 2.283389 │ │ min ┆ -9.344307 ┆ -7.351992 ┆ -5.971848 │ │ 25% ┆ -1.558242 ┆ -1.469304 ┆ -1.427937 │ │ 50% ┆ 0.009659 ┆ 0.036832 ┆ -0.000097 │ │ 75% ┆ 1.693908 ┆ 1.615807 ┆ 1.639928 │ │ max ┆ 7.3889 ┆ 6.962716 ┆ 5.712166 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 405 ┆ 3 │ │ 2661 ┆ 3 │ │ 58 ┆ 2 │ │ 65 ┆ 2 │ │ 146 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04572 ┆ 2.452 ┆ 0.04572 ┆ 2.452 ┆ -3.11 ┆ -1.574 ┆ 0.005581 ┆ 1.699 ┆ 3.272 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04151 ┆ 2.468 ┆ 0.04151 ┆ 2.468 ┆ -3.249 ┆ -1.565 ┆ 0.009275 ┆ 1.694 ┆ 3.272 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.06689 ┆ 2.374 ┆ 0.06689 ┆ 2.374 ┆ -2.871 ┆ -1.645 ┆ -0.06432 ┆ 1.704 ┆ 3.262 ┆ -6.49 ┆ 6.349 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1884926225}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4187 ┆ 0.3383 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3025 ┆ 0.3533 ┆ 0 ┆ 0.03507 ┆ 0 ┆ -0.04388 │ │ x2 ┆ 0.2788 ┆ 0.3083 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.018267 ┆ -0.016134 ┆ -0.002711 │ │ std ┆ 1.287994 ┆ 0.941454 ┆ 1.008777 │ │ min ┆ -4.294867 ┆ -3.028731 ┆ -3.028731 │ │ 25% ┆ -0.876946 ┆ -0.623559 ┆ -0.622226 │ │ 50% ┆ -0.032712 ┆ -0.104997 ┆ -0.099291 │ │ 75% ┆ 0.868188 ┆ 0.648326 ┆ 0.681402 │ │ max ┆ 4.045241 ┆ 3.086329 ┆ 3.035277 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.018267 ┆ -0.016134 ┆ -0.002711 │ │ std ┆ 1.287994 ┆ 0.941454 ┆ 1.008777 │ │ min ┆ -4.294867 ┆ -3.028731 ┆ -3.028731 │ │ 25% ┆ -0.876946 ┆ -0.623559 ┆ -0.622226 │ │ 50% ┆ -0.032712 ┆ -0.104997 ┆ -0.099291 │ │ 75% ┆ 0.868188 ┆ 0.648326 ┆ 0.681402 │ │ max ┆ 4.045241 ┆ 3.086329 ┆ 3.035277 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1361 ┆ 3 │ │ 1441 ┆ 3 │ │ 1470 ┆ 3 │ │ 115 ┆ 2 │ │ 142 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.0141 ┆ 1.292 ┆ -0.0141 ┆ 1.292 ┆ -1.649 ┆ -0.8754 ┆ -0.03591 ┆ 0.8701 ┆ 1.659 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.01827 ┆ 1.288 ┆ -0.01827 ┆ 1.288 ┆ -1.653 ┆ -0.878 ┆ -0.03591 ┆ 0.8682 ┆ 1.645 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.006319 ┆ 1.313 ┆ 0.006319 ┆ 1.313 ┆ -1.639 ┆ -0.8231 ┆ -0.04646 ┆ 0.8988 ┆ 1.756 ┆ -3.415 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 3410016002}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬─────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪═════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7639 ┆ 0.2983 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1717 ┆ 0.3427 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06432 ┆ 0.359 ┆ 0 ┆ -0.0163 ┆ 0 ┆ -0.01627 │ └─────────┴─────────┴───────────┴─────────────────┴─────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035069 ┆ 0.035458 ┆ 0.079013 │ │ std ┆ 2.460139 ┆ 2.34235 ┆ 2.269725 │ │ min ┆ -9.344307 ┆ -8.001885 ┆ -6.632492 │ │ 25% ┆ -1.581776 ┆ -1.466509 ┆ -1.434126 │ │ 50% ┆ 0.009275 ┆ 0.008224 ┆ -0.044636 │ │ 75% ┆ 1.698653 ┆ 1.659969 ┆ 1.685122 │ │ max ┆ 7.3889 ┆ 6.661303 ┆ 5.965769 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035069 ┆ 0.035458 ┆ 0.079013 │ │ std ┆ 2.460139 ┆ 2.34235 ┆ 2.269725 │ │ min ┆ -9.344307 ┆ -8.001885 ┆ -6.632492 │ │ 25% ┆ -1.581776 ┆ -1.466509 ┆ -1.434126 │ │ 50% ┆ 0.009275 ┆ 0.008224 ┆ -0.044636 │ │ 75% ┆ 1.698653 ┆ 1.659969 ┆ 1.685122 │ │ max ┆ 7.3889 ┆ 6.661303 ┆ 5.965769 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 992 ┆ 3 │ │ 1940 ┆ 3 │ │ 2079 ┆ 3 │ │ 155 ┆ 2 │ │ 254 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04975 ┆ 2.453 ┆ 0.04975 ┆ 2.453 ┆ -3.1 ┆ -1.558 ┆ 0.009659 ┆ 1.726 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03507 ┆ 2.46 ┆ 0.03507 ┆ 2.46 ┆ -3.15 ┆ -1.582 ┆ 0.008964 ┆ 1.699 ┆ 3.272 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.1236 ┆ 2.415 ┆ 0.1236 ┆ 2.415 ┆ -2.997 ┆ -1.425 ┆ 0.01437 ┆ 1.779 ┆ 3.311 ┆ -7.576 ┆ 6.449 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2124258795}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4199 ┆ 0.3363 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2947 ┆ 0.3387 ┆ 0 ┆ 0.04634 ┆ 0 ┆ -0.05527 │ │ x2 ┆ 0.2854 ┆ 0.325 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.016297 ┆ -0.027887 ┆ -0.021555 │ │ std ┆ 1.293133 ┆ 0.947287 ┆ 1.010809 │ │ min ┆ -4.294867 ┆ -3.508409 ┆ -2.691024 │ │ 25% ┆ -0.879745 ┆ -0.676681 ┆ -0.739809 │ │ 50% ┆ -0.040459 ┆ -0.075931 ┆ -0.064331 │ │ 75% ┆ 0.870064 ┆ 0.674303 ┆ 0.727191 │ │ max ┆ 4.045241 ┆ 2.760966 ┆ 2.654294 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.016297 ┆ -0.027887 ┆ -0.021555 │ │ std ┆ 1.293133 ┆ 0.947287 ┆ 1.010809 │ │ min ┆ -4.294867 ┆ -3.508409 ┆ -2.691024 │ │ 25% ┆ -0.879745 ┆ -0.676681 ┆ -0.739809 │ │ 50% ┆ -0.040459 ┆ -0.075931 ┆ -0.064331 │ │ 75% ┆ 0.870064 ┆ 0.674303 ┆ 0.727191 │ │ max ┆ 4.045241 ┆ 2.760966 ┆ 2.654294 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1960 ┆ 3 │ │ 2318 ┆ 3 │ │ 84 ┆ 2 │ │ 228 ┆ 2 │ │ 243 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.006303 ┆ 1.301 ┆ -0.006303 ┆ 1.301 ┆ -1.653 ┆ -0.8797 ┆ -0.03591 ┆ 0.8895 ┆ 1.7 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.0163 ┆ 1.293 ┆ -0.0163 ┆ 1.293 ┆ -1.649 ┆ -0.8817 ┆ -0.04046 ┆ 0.8701 ┆ 1.666 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ 0.04261 ┆ 1.338 ┆ 0.04261 ┆ 1.338 ┆ -1.668 ┆ -0.8792 ┆ 0.02276 ┆ 1.027 ┆ 1.814 ┆ -3.867 ┆ 3.574 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1663158628}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬───────────┬─────────────────┬─────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═══════════╪═════════════════╪═════════╡ │ x1 ┆ 0.7315 ┆ 0.3327 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1929 ┆ 0.3213 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.0756 ┆ 0.346 ┆ 0 ┆ -0.008883 ┆ 0 ┆ -0.0313 │ └─────────┴────────┴───────────┴─────────────────┴───────────┴─────────────────┴─────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.046344 ┆ 0.045585 ┆ 0.092805 │ │ std ┆ 2.468311 ┆ 2.325406 ┆ 2.260309 │ │ min ┆ -9.344307 ┆ -8.271099 ┆ -6.472888 │ │ 25% ┆ -1.530057 ┆ -1.43746 ┆ -1.328861 │ │ 50% ┆ 0.014368 ┆ 0.018662 ┆ 0.012894 │ │ 75% ┆ 1.725575 ┆ 1.614158 ┆ 1.670048 │ │ max ┆ 7.3889 ┆ 6.719292 ┆ 5.788445 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.046344 ┆ 0.045585 ┆ 0.092805 │ │ std ┆ 2.468311 ┆ 2.325406 ┆ 2.260309 │ │ min ┆ -9.344307 ┆ -8.271099 ┆ -6.472888 │ │ 25% ┆ -1.530057 ┆ -1.43746 ┆ -1.328861 │ │ 50% ┆ 0.014368 ┆ 0.018662 ┆ 0.012894 │ │ 75% ┆ 1.725575 ┆ 1.614158 ┆ 1.670048 │ │ max ┆ 7.3889 ┆ 6.719292 ┆ 5.788445 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 1861 ┆ 4 │ │ 118 ┆ 3 │ │ 2918 ┆ 3 │ │ 4 ┆ 2 │ │ 30 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.05197 ┆ 2.462 ┆ 0.05197 ┆ 2.462 ┆ -3.163 ┆ -1.532 ┆ 0.009275 ┆ 1.745 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.04634 ┆ 2.468 ┆ 0.04634 ┆ 2.468 ┆ -3.21 ┆ -1.532 ┆ 0.01437 ┆ 1.726 ┆ 3.29 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.08027 ┆ 2.434 ┆ 0.08027 ┆ 2.434 ┆ -3.07 ┆ -1.544 ┆ -0.04958 ┆ 1.931 ┆ 3.272 ┆ -7.576 ┆ 7.389 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1473786769}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4174 ┆ 0.327 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3139 ┆ 0.3447 ┆ 0 ┆ 0.03773 ┆ 0 ┆ -0.06835 │ │ x2 ┆ 0.2687 ┆ 0.3283 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.008883 ┆ -0.017397 ┆ -0.040823 │ │ std ┆ 1.298443 ┆ 0.962106 ┆ 1.029098 │ │ min ┆ -4.294867 ┆ -2.939907 ┆ -2.546451 │ │ 25% ┆ -0.891405 ┆ -0.69187 ┆ -0.781061 │ │ 50% ┆ -0.029707 ┆ -0.070142 ┆ -0.066216 │ │ 75% ┆ 0.889482 ┆ 0.66934 ┆ 0.70079 │ │ max ┆ 4.045241 ┆ 3.047561 ┆ 2.498851 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.008883 ┆ -0.017397 ┆ -0.040823 │ │ std ┆ 1.298443 ┆ 0.962106 ┆ 1.029098 │ │ min ┆ -4.294867 ┆ -2.939907 ┆ -2.546451 │ │ 25% ┆ -0.891405 ┆ -0.69187 ┆ -0.781061 │ │ 50% ┆ -0.029707 ┆ -0.070142 ┆ -0.066216 │ │ 75% ┆ 0.889482 ┆ 0.66934 ┆ 0.70079 │ │ max ┆ 4.045241 ┆ 3.047561 ┆ 2.498851 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 2069 ┆ 3 │ │ 105 ┆ 2 │ │ 125 ┆ 2 │ │ 228 ┆ 2 │ │ 319 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬───────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.01178 ┆ 1.315 ┆ -0.01178 ┆ 1.315 ┆ -1.666 ┆ -0.9015 ┆ -0.0401 ┆ 0.8871 ┆ 1.725 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.008883 ┆ 1.298 ┆ -0.008883 ┆ 1.298 ┆ -1.662 ┆ -0.8914 ┆ -0.02985 ┆ 0.8895 ┆ 1.681 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.02598 ┆ 1.392 ┆ -0.02598 ┆ 1.392 ┆ -1.704 ┆ -0.9544 ┆ -0.1082 ┆ 0.8788 ┆ 1.799 ┆ -3.867 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴───────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 349086507}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬─────────┬─────────────────┬──────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪═════════╪═════════════════╪══════════╡ │ x1 ┆ 0.7551 ┆ 0.328 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1827 ┆ 0.3327 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06221 ┆ 0.3393 ┆ 0 ┆ -0.0229 ┆ 0 ┆ -0.01277 │ └─────────┴─────────┴───────────┴─────────────────┴─────────┴─────────────────┴──────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.037728 ┆ 0.023471 ┆ 0.065628 │ │ std ┆ 2.471804 ┆ 2.341938 ┆ 2.287718 │ │ min ┆ -9.344307 ┆ -7.443344 ┆ -7.120265 │ │ 25% ┆ -1.565075 ┆ -1.462799 ┆ -1.462799 │ │ 50% ┆ 0.008041 ┆ -0.043072 ┆ -0.048644 │ │ 75% ┆ 1.73818 ┆ 1.616327 ┆ 1.616327 │ │ max ┆ 7.3889 ┆ 6.799543 ┆ 5.951848 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.037728 ┆ 0.023471 ┆ 0.065628 │ │ std ┆ 2.471804 ┆ 2.341938 ┆ 2.287718 │ │ min ┆ -9.344307 ┆ -7.443344 ┆ -7.120265 │ │ 25% ┆ -1.565075 ┆ -1.462799 ┆ -1.462799 │ │ 50% ┆ 0.008041 ┆ -0.043072 ┆ -0.048644 │ │ 75% ┆ 1.73818 ┆ 1.616327 ┆ 1.616327 │ │ max ┆ 7.3889 ┆ 6.799543 ┆ 5.951848 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 180 ┆ 3 │ │ 742 ┆ 3 │ │ 54 ┆ 2 │ │ 93 ┆ 2 │ │ 422 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.04278 ┆ 2.459 ┆ 0.04278 ┆ 2.459 ┆ -3.237 ┆ -1.558 ┆ -0.01313 ┆ 1.738 ┆ 3.272 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03773 ┆ 2.472 ┆ 0.03773 ┆ 2.472 ┆ -3.248 ┆ -1.565 ┆ 0.005581 ┆ 1.738 ┆ 3.281 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.06823 ┆ 2.398 ┆ 0.06823 ┆ 2.398 ┆ -3.07 ┆ -1.495 ┆ -0.1052 ┆ 1.738 ┆ 3.187 ┆ -7.356 ┆ 6.302 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2747559128}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4005 ┆ 0.33 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.3081 ┆ 0.3443 ┆ 0 ┆ 0.03534 ┆ 0 ┆ -0.056 │ │ x2 ┆ 0.2914 ┆ 0.3257 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022897 ┆ -0.039993 ┆ -0.039804 │ │ std ┆ 1.309732 ┆ 0.950075 ┆ 1.008272 │ │ min ┆ -4.294867 ┆ -3.002189 ┆ -2.59286 │ │ 25% ┆ -0.904999 ┆ -0.664907 ┆ -0.721775 │ │ 50% ┆ -0.051089 ┆ -0.090065 ┆ -0.084169 │ │ 75% ┆ 0.869317 ┆ 0.58694 ┆ 0.635822 │ │ max ┆ 4.045241 ┆ 2.950797 ┆ 2.908539 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.022897 ┆ -0.039993 ┆ -0.039804 │ │ std ┆ 1.309732 ┆ 0.950075 ┆ 1.008272 │ │ min ┆ -4.294867 ┆ -3.002189 ┆ -2.59286 │ │ 25% ┆ -0.904999 ┆ -0.664907 ┆ -0.721775 │ │ 50% ┆ -0.051089 ┆ -0.090065 ┆ -0.084169 │ │ 75% ┆ 0.869317 ┆ 0.58694 ┆ 0.635822 │ │ max ┆ 4.045241 ┆ 2.950797 ┆ 2.908539 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 864 ┆ 4 │ │ 496 ┆ 3 │ │ 686 ┆ 3 │ │ 1246 ┆ 3 │ │ 1373 ┆ 3 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02204 ┆ 1.318 ┆ -0.02204 ┆ 1.318 ┆ -1.656 ┆ -0.9058 ┆ -0.04226 ┆ 0.8702 ┆ 1.703 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.0229 ┆ 1.31 ┆ -0.0229 ┆ 1.31 ┆ -1.665 ┆ -0.9058 ┆ -0.05134 ┆ 0.8693 ┆ 1.68 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.01784 ┆ 1.36 ┆ -0.01784 ┆ 1.36 ┆ -1.639 ┆ -0.9076 ┆ -0.02802 ┆ 0.8871 ┆ 1.765 ┆ -4.285 ┆ 4.045 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 2997169168}
Iterations: 100
Model: y1=f(x1, x2, y2, bbweight__1)
Categorical features: []
┌─────────┬─────────┬───────────┬─────────────────┬──────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪═════════╪═══════════╪═════════════════╪══════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.7565 ┆ 0.3067 ┆ 0 ┆ 0.02253 ┆ 0 ┆ 0.0459 │ │ x2 ┆ 0.1779 ┆ 0.3443 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.01459 │ │ y2 ┆ 0.06567 ┆ 0.349 ┆ 0 ┆ -0.02123 ┆ 0 ┆ -0.009627 │ └─────────┴─────────┴───────────┴─────────────────┴──────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035336 ┆ 0.023248 ┆ 0.070208 │ │ std ┆ 2.464648 ┆ 2.326382 ┆ 2.248594 │ │ min ┆ -9.344307 ┆ -6.802265 ┆ -6.073336 │ │ 25% ┆ -1.558242 ┆ -1.477077 ┆ -1.419154 │ │ 50% ┆ -0.006523 ┆ -0.045263 ┆ -0.09542 │ │ 75% ┆ 1.710033 ┆ 1.633952 ┆ 1.586931 │ │ max ┆ 7.3889 ┆ 6.925647 ┆ 6.140908 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y1 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 596.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 0.035336 ┆ 0.023248 ┆ 0.070208 │ │ std ┆ 2.464648 ┆ 2.326382 ┆ 2.248594 │ │ min ┆ -9.344307 ┆ -6.802265 ┆ -6.073336 │ │ 25% ┆ -1.558242 ┆ -1.477077 ┆ -1.419154 │ │ 50% ┆ -0.006523 ┆ -0.045263 ┆ -0.09542 │ │ 75% ┆ 1.710033 ┆ 1.633952 ┆ 1.586931 │ │ max ┆ 7.3889 ┆ 6.925647 ┆ 6.140908 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y1'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y1']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 903 ┆ 3 │ │ 1382 ┆ 3 │ │ 64 ┆ 2 │ │ 112 ┆ 2 │ │ 209 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y1']
Where: None
Where (impute): col(___imp_missing_y1_1)
┌──────────┬─────────┬──────┬──────────────┬─────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪═════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y1 ┆ ┆ 3596 ┆ 3596 ┆ 0.03637 ┆ 2.443 ┆ 0.03637 ┆ 2.443 ┆ -3.163 ┆ -1.535 ┆ -0.01313 ┆ 1.699 ┆ 3.257 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 0 ┆ 3000 ┆ 3000 ┆ 0.03534 ┆ 2.465 ┆ 0.03534 ┆ 2.465 ┆ -3.249 ┆ -1.558 ┆ -0.007669 ┆ 1.71 ┆ 3.267 ┆ -9.344 ┆ 7.389 │ │ y1 ┆ 1 ┆ 596 ┆ 596 ┆ 0.04156 ┆ 2.334 ┆ 0.04156 ┆ 2.334 ┆ -2.898 ┆ -1.481 ┆ -0.08397 ┆ 1.687 ┆ 3.194 ┆ -7.356 ┆ 6.14 │ └──────────┴─────────┴──────┴──────────────┴─────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
Imputation using LightGBM
Running lightgbm model with parameters: {'objective': 'regression', 'metric': 'rmse', 'boosting': 'gbdt', 'min_data_per_group': 25, 'num_threads': 1, 'verbose': -1, 'seed': 1789552107}
Iterations: 100
Model: y2=f(x1, x2, y1, bbweight__1)
Categorical features: []
┌─────────┬────────┬───────────┬─────────────────┬─────────┬─────────────────┬───────────┐ │ Feature ┆ Gain ┆ Frequency ┆ Model ┆ Model ┆ Impute ┆ Impute │ │ ┆ ┆ ┆ share (missing) ┆ mean ┆ share (missing) ┆ mean │ ╞═════════╪════════╪═══════════╪═════════════════╪═════════╪═════════════════╪═══════════╡ │ x1 ┆ 0.4321 ┆ 0.315 ┆ 0 ┆ 0.02253 ┆ 0 ┆ -0.007933 │ │ y1 ┆ 0.2844 ┆ 0.3273 ┆ 0 ┆ 0.03004 ┆ 0 ┆ -0.07319 │ │ x2 ┆ 0.2835 ┆ 0.3577 ┆ 0 ┆ 0.00597 ┆ 0 ┆ 0.0131 │ └─────────┴────────┴───────────┴─────────────────┴─────────┴─────────────────┴───────────┘
Predictions
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.021234 ┆ -0.008213 ┆ -0.024039 │ │ std ┆ 1.302852 ┆ 0.940249 ┆ 0.990056 │ │ min ┆ -4.294867 ┆ -2.844255 ┆ -2.52544 │ │ 25% ┆ -0.892413 ┆ -0.639567 ┆ -0.705152 │ │ 50% ┆ -0.035907 ┆ -0.046884 ┆ -0.052305 │ │ 75% ┆ 0.870198 ┆ 0.677291 ┆ 0.634996 │ │ max ┆ 4.045241 ┆ 2.737085 ┆ 2.720851 │ └────────────┴───────────┴──────────────┴────────────────┘
shape: (9, 4) ┌────────────┬───────────┬──────────────┬────────────────┐ │ statistic ┆ y2 ┆ Model (yhat) ┆ Imputed (yhat) │ │ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 │ ╞════════════╪═══════════╪══════════════╪════════════════╡ │ count ┆ 3000.0 ┆ 3000.0 ┆ 613.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ -0.021234 ┆ -0.008213 ┆ -0.024039 │ │ std ┆ 1.302852 ┆ 0.940249 ┆ 0.990056 │ │ min ┆ -4.294867 ┆ -2.844255 ┆ -2.52544 │ │ 25% ┆ -0.892413 ┆ -0.639567 ┆ -0.705152 │ │ 50% ┆ -0.035907 ┆ -0.046884 ┆ -0.052305 │ │ 75% ┆ 0.870198 ┆ 0.677291 ┆ 0.634996 │ │ max ┆ 4.045241 ┆ 2.737085 ┆ 2.720851 │ └────────────┴───────────┴──────────────┴────────────────┘
error=pmm: donating observed value(s) ['y2'] from 10-nearest matched donors
Finding 10 nearest neighbors on ['___prediction']
Randomly picking one and donating ['y2']
Most common matches:
shape: (5, 2) ┌────────┬─────────┐ │ row_id ┆ nDonors │ │ --- ┆ --- │ │ i16 ┆ i8 │ ╞════════╪═════════╡ │ 453 ┆ 3 │ │ 742 ┆ 3 │ │ 1836 ┆ 3 │ │ 33 ┆ 2 │ │ 101 ┆ 2 │ └────────┴─────────┘
Post-imputation statistics for ['y2']
Where: None
Where (impute): col(___imp_missing_y2_2)
┌──────────┬─────────┬──────┬──────────────┬──────────┬───────┬──────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ Variable ┆ Imputed ┆ n ┆ n (not null) ┆ mean ┆ std ┆ mean (not 0) ┆ std (not 0) ┆ q10 (not 0) ┆ q25 (not 0) ┆ q50 (not 0) ┆ q75 (not 0) ┆ q90 (not 0) ┆ min (not 0) ┆ max (not 0) │ ╞══════════╪═════════╪══════╪══════════════╪══════════╪═══════╪══════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ y2 ┆ ┆ 3613 ┆ 3613 ┆ -0.02455 ┆ 1.317 ┆ -0.02455 ┆ 1.317 ┆ -1.653 ┆ -0.9095 ┆ -0.04046 ┆ 0.8788 ┆ 1.68 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 0 ┆ 3000 ┆ 3000 ┆ -0.02123 ┆ 1.303 ┆ -0.02123 ┆ 1.303 ┆ -1.649 ┆ -0.8924 ┆ -0.03672 ┆ 0.8702 ┆ 1.668 ┆ -4.295 ┆ 4.045 │ │ y2 ┆ 1 ┆ 613 ┆ 613 ┆ -0.04077 ┆ 1.384 ┆ -0.04077 ┆ 1.384 ┆ -1.721 ┆ -0.9861 ┆ -0.08644 ┆ 0.9585 ┆ 1.743 ┆ -3.867 ┆ 3.72 │ └──────────┴─────────┴──────┴──────────────┴──────────┴───────┴──────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┘
y1
y2
Final Estimates by Iteration
Removing existing directory C:\Users\jonro\OneDrive\Documents\Coding\survey_kit\.scratch\temp_files/tutorial_diagnostics_convergence.srmi/4.srmi.implicate
In [3]:
logger.info(
"convergence() gives the numbers: ac (lag-1 autocorrelation across "
"implicates) and psrf (potential scale reduction factor - values near 1 "
"mean the implicates have mixed well)"
)
convergence_table = srmi.convergence()
logger.info(convergence_table.tail(8))
convergence() gives the numbers: ac (lag-1 autocorrelation across implicates) and psrf (potential scale reduction factor - values near 1 mean the implicates have mixed well)
shape: (8, 4) ┌─────┬─────┬──────────┬──────────┐ │ .it ┆ vrb ┆ ac ┆ psrf │ │ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ str ┆ f64 ┆ f64 │ ╞═════╪═════╪══════════╪══════════╡ │ 3 ┆ y2 ┆ 0.796201 ┆ NaN │ │ 4 ┆ y2 ┆ 0.774196 ┆ 1.512744 │ │ 5 ┆ y2 ┆ 0.739632 ┆ 1.669472 │ │ 6 ┆ y2 ┆ 0.480091 ┆ 1.124662 │ │ 7 ┆ y2 ┆ 0.368938 ┆ 1.130777 │ │ 8 ┆ y2 ┆ 0.284512 ┆ 1.1588 │ │ 9 ┆ y2 ┆ 0.206496 ┆ 1.236052 │ │ 10 ┆ y2 ┆ 0.25335 ┆ 1.144567 │ └─────┴─────┴──────────┴──────────┘
In [4]:
logger.info(
"plot_convergence() gives the trace plot version - one line per implicate, "
"faceted by variable. Lines that intermingle without a trend mean it converged"
)
path_docs_diagnostics = os.path.join(
config.code_root, "..", "..", "docs", "tutorials", "srmi", "diagnostics"
)
os.makedirs(path_docs_diagnostics, exist_ok=True)
fig_convergence = srmi.plot_convergence(
path=os.path.join(path_docs_diagnostics, "convergence_trace.html")
)
plot_convergence() gives the trace plot version - one line per implicate, faceted by variable. Lines that intermingle without a trend mean it converged