大数据实验环境搭建脚本

因学校实验要求搭建本地网页服务环境,下午抽时间攒了一下命令,不是很一键但是快了不少了。

本地环境要求ubuntu18.4,非sunh账户,带sudo权限即可,在桌面创建三个脚本。

都可以在桌面直接+x运行,已经解压好的spider文件也请放到桌面。

第一个文件setup.sh。直接运行自带换源。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
#!/bin/bash

sudo sed -i 's/[a-z][a-z].archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list
sudo apt update
sudo apt install -y ssh vim apache2 libapache2-mod-wsgi-py3 python3-pip
sudo apt install -y python3.6 mysql-server mysql-client ssh

mkdir ~/.pip
cd ~/.pip
cat > pip.conf << EOF
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = https://pypi.tuna.tsinghua.edu.cn
EOF

pip3 install Django==1.9
pip3 install djangorestframework==3.4.4
pip3 install pymysql

sudo mkdir /home/sunh
sudo chmod 777 /home/sunh
cp -r ~/Desktop/spider /home/sunh/

sudo cat /etc/mysql/debian.cnf

第二个文件mysql.sh,主要是mysql配置。第二个脚本需要传入两个参数,用户名和密码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/bin/bash

sudo mysql -u$1 -p$2<<EOF
use mysql;
update mysql.user set authentication_string=password('123456') where user='root' and host='localhost';
update user set plugin="mysql_native_password";
flush privileges;
create database spider;
use spider;
source /home/sunh/spider/spider.sql;
use mysql;
update user set host = '%' where user = 'root';
flush privileges;

EOF

sudo sed -i 's/bind-address/#bind-address/g' /etc/mysql/mysql.conf.d/mysqld.cnf
systemctl restart mysql
ip addr

需要注意的是在运行最后一个脚本之前需要修改一下/home/sunh/spider/spider/settings.py文件,修改mysql用户名密码为root和123456,端口为3306。

第三个文件是启动命令,关闭了apache2,感觉不需要,但是脚本里还是安装了,没有去除,应该是实验的问题。start.sh 第三个文件需要传入运行ip和端口。

1
2
3
4
5
#!/bin/bash

sudo systemctl stop apache2
cd /home/sunh/spider/
sudo python3 manage.py runserver $1

至此应该已经可以通过浏览器访问ip地址完成。


大数据实验环境搭建脚本
https://steammilk.com/2024/03/23/2024-all/bigdata-train-1/
作者
蒸奶泡
发布于
2024年3月23日
更新于
2025年1月8日
许可协议