如何在jupyter notebook裡運行Spark及Scala
发布日期:2021-05-06 19:48:53 浏览次数:22 分类:原创文章

本文共 584 字,大约阅读时间需要 1 分钟。

如何在jupyter notebook裡運行Spark及Scala

前言

本篇譯自:,文中介紹了從安裝套件、創建Kernel spec,到啟動jupyter notebook及測試Scala程式的完整流程。

安裝套件

pip install spylon-kernel

創建Kernel spec

原文中並沒有說明Kernel spec是什麼,到查詢後,個人將之理解為每個kernel的id。

python -m spylon_kernel install

經過這一步以後,我們就可以在notebook中選擇scala當作kernel。

啟動jupyter notebook

ipython notebook #or jupyter notebook

接著在jupyter notebook起始畫面中選擇New -> spylon-kernel,select kernel

測試Scala

spark context我們可以看到它啟動了SparkContext跟SparkSession。

如果執行失敗,請使用以下指令檢查SPARK_HOME這個環境變量是否存在。
在这里插入图片描述
接著可以來創建一個dataset:dataframe

如果想要執行python也是辦得到的,只要在當前cell最前面加上%%python即可:
python

如果想要更了解spylon-kernel可以拜訪他們的Github網頁:。
文章中用到的notebook則可以在找到。

參考連結




上一篇:(多圖)CentOS下安裝NVIDIA driver的超詳細教程
下一篇:docker stack deploy無法載入.env檔案裡的環境變量及其解決方式

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2025年04月12日 19时48分09秒