Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Restituisce un nuovo dataframe che omette righe con valori Null o NaN.
DataFrame.dropna e DataFrameNaFunctions.drop sono alias l'uno dell'altro.
Sintassi
dropna(how: str = "any", thresh: Optional[int] = None, subset: Optional[Union[str, Tuple[str, ...], List[str]]] = None)
Parametri
| Parametro | Tipo | Descrizione |
|---|---|---|
how |
str, facoltativo, predefinito 'any' | valori che possono essere 'any' o 'all'. Se è presente, eliminare una riga se contiene valori Null. Se 'all', eliminare una riga solo se tutti i relativi valori sono Null. |
thresh |
int, facoltativo, predefinito None | Se specificato, eliminare le righe con valori minori di thresh valori non Null. In questo modo viene sovrascritto il how parametro . |
subset |
str, tuple o list, facoltativo | elenco facoltativo di nomi di colonna da considerare. |
Restituzioni
DataFrame: dataframe con solo righe null escluse.
Examples
from pyspark.sql import Row
df = spark.createDataFrame([
Row(age=10, height=80.0, name="Alice"),
Row(age=5, height=float("nan"), name="Bob"),
Row(age=None, height=None, name="Tom"),
Row(age=None, height=float("nan"), name=None),
])
df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10| 80.0|Alice|
# +---+------+-----+
df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# | 10| 80.0|Alice|
# | 5| NaN| Bob|
# |NULL| NULL| Tom|
# +----+------+-----+
df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10| 80.0|Alice|
# | 5| NaN| Bob|
# +---+------+-----+