Hi Ricardo,
providing the error output would help . But in any case you need to do a
collect() on the rdd returned from computeCost.
2015-05-19 11:59 GMT-07:00 Ricardo Goncalves da Silva <
ricardog.si...@telefonica.com>:
> Hi,
>
>
>
> Can anybody see what’s wrong in this piece of code:
>
>
>
>
>
> ./bin/spark-shell --num-executors 2 --executor-memory 512m --master
> yarn-client
>
> import org.apache.spark.mllib.clustering.KMeans
>
> import org.apache.spark.mllib.linalg.Vectors
>
>
>
>
>
> val data = sc.textFile("/user/p_loadbd/fraude5.csv").map(x =>
> x.toLowerCase.split(',')).map(x => x(0)+","+x(1))
>
> val header = data.first()
>
> val filter_data = data.filter(x => x != header)
>
> val parsedData = data.map(s =>
> Vectors.dense(s.split(',').map(_.toDouble))).cache()
>
>
>
> val numClusters = 2
>
> val numIterations = 20
>
> val clusters = KMeans.train(parsedData, numClusters, numIterations)
>
>
>
> val WSSSE = clusters.computeCost(parsedData)
>
> println("Within Set Sum of Squared Errors = " + WSSSE)
>
>
>
> Thanks.
>
>
>
>
>
> [image: Descrição: Descrição: Descrição:
> cid:image002.jpg@01CC89A8.2B628650]
>
> *Ricardo Goncalves da Silva*
> Lead Data Scientist *|* Seção de Desenvolvimento de Sistemas de
>
> Business Intelligence – Projetos de Inovação *| *IDPB02
>
> Av. Eng. Luis Carlos Berrini, 1.376 – 7º – 04571-000 - SP
>
> ricardog.si...@telefonica.com *|* www.telefonica.com.br
>
> Tel +55 11 3430 4955 *| *Cel +55 11 94292 9526
>
>
>
>
>
> ------------------------------
>
> Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario,
> puede contener información privilegiada o confidencial y es para uso
> exclusivo de la persona o entidad de destino. Si no es usted. el
> destinatario indicado, queda notificado de que la lectura, utilización,
> divulgación y/o copia sin autorización puede estar prohibida en virtud de
> la legislación vigente. Si ha recibido este mensaje por error, le rogamos
> que nos lo comunique inmediatamente por esta misma vía y proceda a su
> destrucción.
>
> The information contained in this transmission is privileged and
> confidential information intended only for the use of the individual or
> entity named above. If the reader of this message is not the intended
> recipient, you are hereby notified that any dissemination, distribution or
> copying of this communication is strictly prohibited. If you have received
> this transmission in error, do not read it. Please immediately reply to the
> sender that you have received this communication in error and then delete
> it.
>
> Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário,
> pode conter informação privilegiada ou confidencial e é para uso exclusivo
> da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário
> indicado, fica notificado de que a leitura, utilização, divulgação e/ou
> cópia sem autorização pode estar proibida em virtude da legislação vigente.
> Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique
> imediatamente por esta mesma via e proceda a sua destruição
>
