Spark Python: стандартная ошибка масштабирования «Не поддерживайте … SparseVector»

Я снова ударил по блочной стене. Я полный новичок, поэтому я снова должен опираться на ваши могущественные знания.

Я начинал с набора данных, выглядя так:

,user_account_id,user_lifetime,user_no_outgoing_activity_in_days,user_account_balance_last,user_spendings,reloads_inactive_days,reloads_count,reloads_sum,calls_outgoing_count,calls_outgoing_spendings,calls_outgoing_duration,calls_outgoing_spendings_max,calls_outgoing_duration_max,calls_outgoing_inactive_days,calls_outgoing_to_onnet_count,calls_outgoing_to_onnet_spendings,calls_outgoing_to_onnet_duration,calls_outgoing_to_onnet_inactive_days,calls_outgoing_to_offnet_count,calls_outgoing_to_offnet_spendings,calls_outgoing_to_offnet_duration,calls_outgoing_to_offnet_inactive_days,calls_outgoing_to_abroad_count,calls_outgoing_to_abroad_spendings,calls_outgoing_to_abroad_duration,calls_outgoing_to_abroad_inactive_days,sms_outgoing_count,sms_outgoing_spendings,sms_outgoing_spendings_max,sms_outgoing_inactive_days,sms_outgoing_to_onnet_count,sms_outgoing_to_onnet_spendings,sms_outgoing_to_onnet_inactive_days,sms_outgoing_to_offnet_count,sms_outgoing_to_offnet_spendings,sms_outgoing_to_offnet_inactive_days,sms_outgoing_to_abroad_count,sms_outgoing_to_abroad_spendings,sms_outgoing_to_abroad_inactive_days,sms_incoming_count,sms_incoming_spendings,sms_incoming_from_abroad_count,sms_incoming_from_abroad_spendings,gprs_session_count,gprs_usage,gprs_spendings,gprs_inactive_days,last_100_reloads_count,last_100_reloads_sum,last_100_calls_outgoing_duration,last_100_calls_outgoing_to_onnet_duration,last_100_calls_outgoing_to_offnet_duration,last_100_calls_outgoing_to_abroad_duration,last_100_sms_outgoing_count,last_100_sms_outgoing_to_onnet_count,last_100_sms_outgoing_to_offnet_count,last_100_sms_outgoing_to_abroad_count,last_100_gprs_usage,user_intake,user_has_outgoing_calls,user_has_outgoing_sms,user_use_gprs,user_does_reload,n_months,month,churn 0,1031,947.0,0.3333333333333333,10.993333333333334,10.3,12.0,1.3333333333333333,10.013333333333334,83.66666666666667,5.859999999999999,55.69,0.5966666666666667,10.333333333333334,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,23.333333333333332,2.8833333333333333,25.0,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,135.33333333333334,4.44,0.06,0.3333333333333333,16.333333333333332,0.98,0.3333333333333333,57.666666666666664,3.4599999999999995,0.3333333333333333,0.0,0.0,0.3333333333333333,14.0,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,5.666666666666667,22.01666666666667,130.48,0.0,65.33333333333333,0.0,287.3333333333333,34.0,113.66666666666667,0.0,0.0,0,1,1,0,1,3,9,0 1,4231,951.0,1.3333333333333333,27.546666666666667,6.45,22.0,1.0,12.013333333333334,46.333333333333336,6.45,47.150000000000006,1.3233333333333333,8.81,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,31.666666666666668,6.400000000000001,42.656666666666666,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,0.6666666666666666,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,10.666666666666666,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,4.0,32.026666666666664,156.96666666666667,0.0,145.42999999999998,0.0,1.6666666666666667,0.0,0.3333333333333333,0.0,0.0,0,1,1,0,1,3,9,0 2,5231,523.0,0.6666666666666666,14.62,1.0999999999999999,1307.0,0.0,0.0,14.333333333333334,1.0999999999999999,7.573333333333333,0.7266666666666666,4.84,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,8.333333333333334,0.3233333333333333,2.1566666666666667,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,0.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,8.333333333333334,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,0.0,0.0,47.330000000000005,0.0,10.356666666666667,0.0,0.0,0.0,0.0,0.0,0.0,0,1,0,0,0,3,9,0 

И мой код выглядит так:

 ca1DF = ( sqlContext.read.load("merged.csv", format="com.databricks.spark.csv", header=True, inferSchema=True) .rdd.toDF(["user_account_id", "user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload", "n_months", "churn"]) ).cache() ca1DF.show(5) |user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days| reloads_count| reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn| | 0| 1031| 947.0| 0.3333333333333333|10.993333333333334| 10.3| 12.0|1.3333333333333333| 10.013333333333334| 83.66666666666667| 5.859999999999999| 55.69| 0.5966666666666667| 10.333333333333334| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 23.333333333333332| 2.8833333333333333| 25.0| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 135.33333333333334| 4.44| 0.06| 0.3333333333333333| 16.333333333333332| 0.98| 0.3333333333333333| 57.666666666666664| 3.4599999999999995| 0.3333333333333333| 0.0| 0.0|0.3333333333333333| 14.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 5.666666666666667| 22.01666666666667| 130.48| 0.0| 65.33333333333333| 0.0| 287.3333333333333| 34.0| 113.66666666666667| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0| | 1| 4231| 951.0| 1.3333333333333333|27.546666666666667| 6.45| 22.0| 1.0| 12.013333333333334| 46.333333333333336| 6.45| 47.150000000000006| 1.3233333333333333| 8.81| 1.3333333333333333| 0.0| 0.0| 0.0| 1.3333333333333333| 31.666666666666668| 6.400000000000001| 42.656666666666666| 1.3333333333333333| 0.0| 0.0| 0.0|1.3333333333333333| 0.6666666666666666| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 10.666666666666666| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 4.0| 32.026666666666664| 156.96666666666667| 0.0| 145.42999999999998| 0.0| 1.6666666666666667| 0.0| 0.3333333333333333| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0| | 2| 5231| 523.0| 0.6666666666666666| 14.62| 1.0999999999999999| 1307.0| 0.0| 0.0| 14.333333333333334| 1.0999999999999999| 7.573333333333333| 0.7266666666666666| 4.84| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 8.333333333333334| 0.3233333333333333| 2.1566666666666667| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 8.333333333333334| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 47.330000000000005| 0.0| 10.356666666666667| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 1| 0| 0| 0| 3| 9| 0| from pyspark.ml.feature import StandardScaler, VectorAssembler assembler = VectorAssembler(inputCols=["user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload"], outputCol="features") scaler = StandardScaler(withMean=True, withStd=True, inputCol="features", outputCol="scaled_features") ca1FeaturizedDF = assembler.transform(ca1DF) ca1FeaturizedDF.show(5) |user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days| reloads_count| reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn| features| | 0| 1031| 947.0| 0.3333333333333333|10.993333333333334| 10.3| 12.0|1.3333333333333333| 10.013333333333334| 83.66666666666667| 5.859999999999999| 55.69| 0.5966666666666667| 10.333333333333334| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 23.333333333333332| 2.8833333333333333| 25.0| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 135.33333333333334| 4.44| 0.06| 0.3333333333333333| 16.333333333333332| 0.98| 0.3333333333333333| 57.666666666666664| 3.4599999999999995| 0.3333333333333333| 0.0| 0.0|0.3333333333333333| 14.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 5.666666666666667| 22.01666666666667| 130.48| 0.0| 65.33333333333333| 0.0| 287.3333333333333| 34.0| 113.66666666666667| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|[1031.0,947.0,0.3...| | 1| 4231| 951.0| 1.3333333333333333|27.546666666666667| 6.45| 22.0| 1.0| 12.013333333333334| 46.333333333333336| 6.45| 47.150000000000006| 1.3233333333333333| 8.81| 1.3333333333333333| 0.0| 0.0| 0.0| 1.3333333333333333| 31.666666666666668| 6.400000000000001| 42.656666666666666| 1.3333333333333333| 0.0| 0.0| 0.0|1.3333333333333333| 0.6666666666666666| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 10.666666666666666| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 4.0| 32.026666666666664| 156.96666666666667| 0.0| 145.42999999999998| 0.0| 1.6666666666666667| 0.0| 0.3333333333333333| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|(62,[0,1,2,3,4,5,...| | 2| 5231| 523.0| 0.6666666666666666| 14.62| 1.0999999999999999| 1307.0| 0.0| 0.0| 14.333333333333334| 1.0999999999999999| 7.573333333333333| 0.7266666666666666| 4.84| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 8.333333333333334| 0.3233333333333333| 2.1566666666666667| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 8.333333333333334| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 47.330000000000005| 0.0| 10.356666666666667| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 1| 0| 0| 0| 3| 9| 0|(62,[0,1,2,3,4,5,...| scalerModel = scaler.fit(ca1FeaturizedDF) ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF) ca1FeaturizeScaleddDF.show(5) 

Что вызвало ошибку:

 --------------------------------------------------------------------------- Py4JJavaError Traceback (most recent call last) <ipython-input-24-4a1ada825b56> in <module>() 1 ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF) ----> 2 ca1FeaturizeScaleddDF.show(5) /opt/apache-spark/python/pyspark/sql/dataframe.py in show(self, n, truncate) 255 +---+-----+ 256 """ --> 257 print(self._jdf.showString(n, truncate)) 258 259 def __repr__(self): /opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py in __call__(self, *args) 811 answer = self.gateway_client.send_command(command) 812 return_value = get_return_value( --> 813 answer, self.gateway_client, self.target_id, self.name) 814 815 for temp_arg in temp_args: /opt/apache-spark/python/pyspark/sql/utils.py in deco(*a, **kw) 43 def deco(*a, **kw): 44 try: ---> 45 return f(*a, **kw) 46 except py4j.protocol.Py4JJavaError as e: 47 s = e.java_exception.toString() /opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name) 306 raise Py4JJavaError( 307 "An error occurred while calling {0}{1}{2}.\n". --> 308 format(target_id, ".", name), value) 309 else: 310 raise Py4JError( Py4JJavaError: An error occurred while calling o172.showString. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 1 times, most recent failure: Lost task 0.0 in stage 16.0 (TID 20, localhost): java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150) at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141) at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141) at org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply(Unknown Source) at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:51) at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:49) 

Ошибка и данные сокращаются.

Очевидно, я понятия не имею, что это значит или как это исправить.

Я пытаюсь сделать k-среднюю модель из примера на другом наборе данных. Требуется модель K -средства.

Спасибо!

Счастливого Рождества!

One Solution collect form web for “Spark Python: стандартная ошибка масштабирования «Не поддерживайте … SparseVector»”

Это происходит потому, что в Spark 1.x StandardScaler не может использоваться для преобразования SparseVector withMean . Это поведение было изменено в Spark 2.0, где векторы преобразуются в DenseVector если запрашивается центрирование.

В Spark 1.x вы должны позаботиться об этом вручную:

 from pyspark.mllib.linalg import SparseVector, DenseVector, VectorUDT from pyspark.sql.functions import udf as_dense = udf( lambda v: DenseVector(v.toArray()) if v is not None else None, VectorUDT() ) 

Пример использования:

 df = sc.parallelize([ (1, SparseVector(5, [0, 3], [1.0, -1.0])) ]).toDF(["id", "features"]) scaler = StandardScaler( withMean=True, withStd=True, inputCol="features", outputCol="scaled_features" ) scaler.fit(df).transform(df).show(1) 
 ... ERROR Executor: Exception in task 6.0 in stage 31.0 (TID 68) java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150) 
 df_dense = df.withColumn("features", as_dense("features")) scaler.fit(df_dense).transform(df_dense).show(1) 
 +---+--------------------+--------------------+ | id| features| scaled_features| +---+--------------------+--------------------+ | 1|[1.0,0.0,0.0,-1.0...|[0.0,0.0,0.0,0.0,...| +---+--------------------+--------------------+ 

На стороне переименование логики вы используете неправильно и неэффективно. Если вы хотите отменить select столбца индекса, должно быть достаточно:

 ca1DF = sqlContext.read.load(...).select( ["user_account_id", "user_lifetime", ... "churn"] ) 
  • Как настроить Pyspark в Python 3 с помощью spark-env.sh.template
  • Сохранение RDD как файла последовательности в pyspark
  • Spark groupByKey альтернатива
  • Как отключить регистрацию INFO в PySpark?
  • AttributeError: объект DataFrame не имеет атрибута 'map'
  • Являются ли исполнители ноутбуков Jupyter динамически распределенными в Apache Spark?
  • Как найти медиану в Apache Spark с API-интерфейсом Python Dataframe?
  • Просмотр содержимого RDD в Python Spark?
  • Как удалить RDD в PySpark с целью освобождения ресурсов?
  • Spark и Python пытаются разобрать википедию с помощью gensim
  • Правильное обращение с переменными искрового вещания в классе Python
  • Python - лучший язык программирования в мире.