feature drift

import%20marimo%0A%0A__generated_with%20%3D%20%220.11.20%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20import%20plotly.io%20as%20pio%0A%0A%20%20%20%20from%20scipy.stats%20import%20gaussian_kde%0A%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20date%0A%20%20%20%20from%20functools%20import%20lru_cache%0A%20%20%20%20from%20functools%20import%20partial%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20pio.templates.default%20%3D%20%22simple_white%22%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20date%2C%0A%20%20%20%20%20%20%20%20datetime%2C%0A%20%20%20%20%20%20%20%20gaussian_kde%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20lru_cache%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20partial%2C%0A%20%20%20%20%20%20%20%20pio%2C%0A%20%20%20%20%20%20%20%20pl%2C%0A%20%20%20%20%20%20%20%20px%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(gaussian_kde%2C%20np%2C%20partial%2C%20pl)%3A%0A%20%20%20%20def%20get_kde(%0A%20%20%20%20%20%20%20%20arr%3A%20np.array%2C%20*%2C%20normalize%3A%20bool%20%3D%20True%2C%20eval_points%3A%20np.array%20%3D%20None%0A%20%20%20%20)%20-%3E%20np.array%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Given%20an%20array%20of%20data%20points%2C%20return%20the%20kde%20evaluated%20at%20the%20eval_points.%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20arr%20%3A%20np.array%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20data%20points%20to%20fit%20the%20kde%20on.%0A%20%20%20%20%20%20%20%20normalize%20%3A%20bool%0A%20%20%20%20%20%20%20%20%20%20%20%20Normalize%20the%20kde.%0A%20%20%20%20%20%20%20%20eval_points%20%3A%20np.array%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20points%20to%20evaluate%20the%20kde%20on.%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20np.array%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20evaluated%20kde%20values%20at%20the%20specified%20points.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20kde%20%3D%20gaussian_kde(arr)%0A%20%20%20%20%20%20%20%20%20%20%20%20kde_points%20%3D%20kde.evaluate(eval_points)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20normalize%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kde_points%20%3D%20kde_points%20%2F%20kde_points.max()%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20kde_points%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5B0%5D)%0A%0A%0A%20%20%20%20def%20get_chunks(%0A%20%20%20%20%20%20%20%20df%3A%20pl.DataFrame%2C%0A%20%20%20%20%20%20%20%20*%2C%0A%20%20%20%20%20%20%20%20ts_col%3A%20str%2C%0A%20%20%20%20%20%20%20%20period%3A%20str%2C%0A%20%20%20%20%20%20%20%20feature_col%3A%20str%2C%0A%20%20%20%20%20%20%20%20normalize%3A%20bool%20%3D%20True%2C%0A%20%20%20%20%20%20%20%20eval_points%3A%20np.array%20%3D%20None%2C%0A%20%20%20%20%20%20%20%20group_by%3DNone%2C%0A%20%20%20%20)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Get%20chunks%20in%20one%20dimension%20of%20the%20data.%0A%20%20%20%20%20%20%20%20For%20each%20group%20within%20a%20chunk%20create%20kde's.%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20df%20%3A%20pl.DataFrame%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20input%20DataFrame.%0A%20%20%20%20%20%20%20%20ts_col%20%3A%20str%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20timestamp%20column%20used%20for%20chunking.%0A%20%20%20%20%20%20%20%20period%20%3A%20str%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20period%20for%20chunking.%0A%20%20%20%20%20%20%20%20feature_col%20%3A%20str%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20column%20to%20calculate%20KDE%20on.%0A%20%20%20%20%20%20%20%20normalize%20%3A%20bool%0A%20%20%20%20%20%20%20%20%20%20%20%20Normalize%20the%20KDE.%0A%20%20%20%20%20%20%20%20eval_points%20%3A%20np.array%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20points%20to%20evaluate%20the%20KDE%20on.%0A%20%20%20%20%20%20%20%20group_by%20%3A%20Optional%5Bstr%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20column%20to%20group%20by.%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20list%5Bpl.DataFrame%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20DataFrame%20chunks%20with%20KDE%20results%20and%20additional%20metadata.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20df_chunked%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20df.group_by_dynamic(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ts_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20every%3Dperiod%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20group_by%3Dgroup_by%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.agg(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col(feature_col)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kde%3Dpl.col(feature_col).map_elements(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partial(get_kde%2C%20normalize%3Dnormalize%2C%20eval_points%3Deval_points)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return_dtype%3Dpl.List(pl.Float32)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20eval_points%3Dpl.lit(list(eval_points))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chunk_index%3Dpl.cum_count(ts_col).over(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20group_by%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chunk_label%3Dpl.col(ts_col).dt.strftime(%22%25Y-%25m%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20group_index%3Dpl.cum_count(ts_col).over(ts_col)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20group_key%3Dpl.lit(group_by)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20group_value%3Dpl.col(group_by)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20group_by%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20pl.lit(None)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.drop(feature_col)%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort(ts_col)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20df_chunked.partition_by(ts_col)%0A%20%20%20%20return%20get_chunks%2C%20get_kde%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Univariate%20drift%20detection%20by%20target.%0A%0A%20%20%20%20%20%20%20%20The%20data%20consists%20of%20a%20single%20feature%20f1%2C%20a%20target%20and%20a%20timeseries%20column%20ts.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(date%2C%20lru_cache%2C%20np%2C%20pl)%3A%0A%20%20%20%20%40lru_cache(maxsize%3D10)%0A%20%20%20%20def%20get_data(%0A%20%20%20%20%20%20%20%20*%2C%0A%20%20%20%20%20%20%20%20start%3A%20date%2C%0A%20%20%20%20%20%20%20%20end%3A%20date%2C%0A%20%20%20%20%20%20%20%20sampling_rate%3A%20str%20%3D%20%2260s%22%2C%0A%20%20%20%20)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Generate%20a%20time%20series%20data%20frame%20between%20specified%20start%20and%20end%20dates%20with%20a%20given%20sampling%20rate.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20start%20(date)%3A%20The%20start%20date%20of%20the%20data%20range.%0A%20%20%20%20%20%20%20%20end%20(date)%3A%20The%20end%20date%20of%20the%20data%20range.%0A%20%20%20%20%20%20%20%20sampling_rate%20(str)%3A%20The%20sampling%20rate%20as%20a%20string%2C%20default%20is%20%2260s%22%20(60%20seconds).%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20pl.DataFrame%3A%20A%20DataFrame%20with%20columns%20'ts'%20for%20timestamps%2C%20'f_1'%20for%20a%20feature%20influenced%20by%20time%2C%20and%20'target'%20as%20a%20boolean%20series.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20date_range%20%3D%20pl.datetime_range(%0A%20%20%20%20%20%20%20%20%20%20%20%20start%2C%20end%2C%20interval%3Dsampling_rate%2C%20eager%3DTrue%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ts%22%3A%20date_range%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22f_1%22%3A%20np.random.normal(0%2C%201%2C%20len(date_range))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target%22%3A%20np.sin(np.linspace(0%2C%2012%20*%20np.pi%2C%20len(date_range)))%20%3E%3D%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20).with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20f_1%3Dpl.col(%22f_1%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%2012%20*%20np.sin(pl.col(%22ts%22).dt.month()%20*%202%20*%20np.pi%20%2F%2012)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(get_data%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%23%23%20Visualized%20chunks%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20The%20data%20has%20%7Bdf.height%7D%20rows.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(date%2C%20mo)%3A%0A%20%20%20%20date_range%20%3D%20mo.ui.date_range(%0A%20%20%20%20%20%20%20%20date(2020%2C%201%2C%201)%2C%0A%20%20%20%20%20%20%20%20date(2025%2C%201%2C%201)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Date%20range%22%2C%0A%20%20%20%20)%0A%20%20%20%20sampling_rate%20%3D%20mo.ui.slider(60%2C%2060%20*%2060%2C%2010%2C%201800%2C%20label%3D%22Sampling%20Rate%22)%0A%20%20%20%20interval%20%3D%20mo.ui.slider(1%2C%2012%2C%201%2C%206)%0A%20%20%20%20kde_eval_points%20%3D%20mo.ui.slider(30%2C%20100%2C%205%2C%2050)%0A%20%20%20%20group_by_target%20%3D%20mo.ui.checkbox(True)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20date_range%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20sampling_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22Chunk%20timestamps%20by%20%7Binterval%7D%20months.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22Within%20each%20chunk%2C%20group%20by%20target%20%3F%3A%20%7Bgroup_by_target%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22Sample%20the%20kde%20with%20%7Bkde_eval_points%7D%20points.%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20date_range%2C%0A%20%20%20%20%20%20%20%20group_by_target%2C%0A%20%20%20%20%20%20%20%20interval%2C%0A%20%20%20%20%20%20%20%20kde_eval_points%2C%0A%20%20%20%20%20%20%20%20sampling_rate%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(date_range%2C%20get_data%2C%20sampling_rate)%3A%0A%20%20%20%20df%20%3D%20get_data(%0A%20%20%20%20%20%20%20%20start%3Ddate_range.value%5B0%5D%2C%0A%20%20%20%20%20%20%20%20end%3Ddate_range.value%5B1%5D%2C%0A%20%20%20%20%20%20%20%20sampling_rate%3Df%22%7Bsampling_rate.value%7Ds%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20get_chunks%2C%20group_by_target%2C%20interval%2C%20kde_eval_points%2C%20np)%3A%0A%20%20%20%20chunks%20%3D%20get_chunks(%0A%20%20%20%20%20%20%20%20df%2C%0A%20%20%20%20%20%20%20%20ts_col%3D%22ts%22%2C%0A%20%20%20%20%20%20%20%20period%3Df%22%7Binterval.value%7Dmo%22%2C%0A%20%20%20%20%20%20%20%20group_by%3D%22target%22%20if%20group_by_target.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20feature_col%3D%22f_1%22%2C%0A%20%20%20%20%20%20%20%20normalize%3DTrue%2C%0A%20%20%20%20%20%20%20%20eval_points%3Dnp.linspace(-20%2C%2020%2C%20kde_eval_points.value)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(chunks%2C)%0A%0A%0A%40app.cell%0Adef%20_(chunks%2C%20go%2C%20np)%3A%0A%20%20%20%20%23%20Visualize%20data%20chunks%20and%20groups%20with%20vertical%20rectangles%20and%20scatter%20traces%0A%0A%20%20%20%20fig%20%3D%20go.Figure()%0A%0A%20%20%20%20colors%20%3D%20%5B%22orange%22%2C%20%22blue%22%5D%0A%0A%20%20%20%20for%20chunk%20in%20chunks%3A%0A%20%20%20%20%20%20%20%20%23%20iterate%20over%20the%20groups%20inside%20the%20chunk%0A%20%20%20%20%20%20%20%20for%20row%20in%20chunk.iter_rows(named%3DTrue)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20chunk_index%20%3D%20row%5B%22chunk_index%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20chunk_name%20%3D%20row%5B%22chunk_label%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20group_index%20%3D%20row%5B%22group_index%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20group_value%20%3D%20row%5B%22group_value%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_vrect(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%3Dchunk_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x1%3Dchunk_index%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Chunk%20%7Bchunk_index%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3D%22purple%22%20if%20chunk_index%20%25%202%20%3D%3D%200%20else%20%22pink%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.05%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_width%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20trace%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Drow%5B%22eval_points%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dnp.array(row%5B%22kde%22%5D)%20%2B%20chunk_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Dchunk_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D2%2C%20color%3Dcolors%5Bgroup_index%20-%201%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tozeroy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legendgroup%3Dgroup_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legendgrouptitle%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22text%22%3A%20f%22%7Brow%5B'group_key'%5D%7D%3D%7Brow%5B'group_value'%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20group_value%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(trace)%0A%0A%20%20%20%20fig%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20chunk%2C%0A%20%20%20%20%20%20%20%20chunk_index%2C%0A%20%20%20%20%20%20%20%20chunk_name%2C%0A%20%20%20%20%20%20%20%20colors%2C%0A%20%20%20%20%20%20%20%20fig%2C%0A%20%20%20%20%20%20%20%20group_index%2C%0A%20%20%20%20%20%20%20%20group_value%2C%0A%20%20%20%20%20%20%20%20row%2C%0A%20%20%20%20%20%20%20%20trace%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A