一次爬虫试验遇到的磕绊

前言

文章进供技术交流,切勿泛滥。站长建站……真的真的真的泰特娘不易了。水平有限,文中不对的地方欢迎指出,万分感谢。

一、发现了一个小开源项目

时值岁末,在家养膘、闲散,不巧在tg推送看到这样一个小项目,对电子书蛮感兴趣的我就想试试。关键是看到只有两行代码的前期操作,觉得一定是一件易事,不曾想……只是作者懒癌晚期罢了!

enter description here

二、前期准备

1.因为需要科学上网,就直接用境外的vps操作吧,自带python。

enter description here

2.好吧,没有pip当然不能同作者那样安装依赖库了,先安装pip吧。

enter description here

1
apt-get install python3 pip

3.检查pip安装情况
enter description here

1
pip3 -v

4.接下来才可以照葫芦画瓢安装pillow和相关依赖库
enter description here

1
pip3 install pillow

三、开始遇雷并摸索排除

1.但是执行 python main.py 是报错的,那么肯定是需要scrapy框架了。

enter description here

1
pip install scrapy

enter description here

2.安装完成后继续执行,还是报错,那……干脆,这种对菜鸟不友好的代码,就直接来的彻底一点。

enter description here

1
cd /tmp

我们将使用curl命令行工具下载脚本。安装curl :

1
sudo apt install curl

现在,使用curl下载从Anaconda网站复制的链接:

1
curl -O https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh

我们现在可以通过SHA-256校验和通过加密哈希验证来验证安装程序的数据完整性。我们将使用sha256sum命令以及脚本的文件名:

1
sha256sum Anaconda3-5.2.0-Linux-x86_64.sh

将收到类似于此的输出:

1
Output09f53738b0cd3bb96f5b1bac488e5528df9906be2480fe61df40e0e0d19e3d48Anaconda3-5.2.0-Linux-x86_64.sh

您应该根据适当的Anaconda版本在64位Linux页面上使用Python 3的Anaconda上的哈希值检查输出。只要您的输出与sha2561行中显示的哈希值匹配,就可以了。

现在我们可以运行脚本了:

1
bash Anaconda3-5.2.0-Linux-x86_64.sh

然后一路回车yes,最后要激活安装,您应该获取~/.bashrc文件:

1
source ~/.bashrc

完成后,您可以使用conda命令验证安装,例如使用list :

1
conda list

输出正确版本信息即为安装成功。

3.再次执行……

enter description here

还是报错啊,不行,我要找到这个作者,说好的一键获取呢?其实还是怪自己太菜了,应该是依据报错来排查问题,我只能看个一知半解然后就赶紧去古狗和百度。

四、解铃还须系铃人

1.就算我再不及,网安学习还是培养了我一些猥琐的思路。所以……我找到了这位作者……求助,/(ㄒoㄒ)/~~

他告诉我说还要安装mongoDB的,很快我就掉进了另一个坑,mongoDB安装成功后似乎无法正常启动。

enter description here

如何在Debian 9上安装MongoDB

2.正在大神施法降术的时候,你知道发生了什么吗?我们这边……停电啦啦啦!

那我只好用手机研究了。

enter description here

enter description here

到这一步我有点迷,到底它启没启动呢?是已经成功了吗?还是没有,反正python main.py依旧不能执行就对了。

3.后来我卸载了重装了一遍,用了另外的方法。

debian安装 Mongodb

文中第2步执行代码无法解压,要这样才可以:

1
tar -zxvf mongodb-linux-i686-2.0.2.tgz -C /usr/local/mongodb

enter description here

4.最后检验mongoDB是否安装成功,检验代码原文有,就不贴了。

enter description here

enter description here

五、接下来,可以缓一口气了!

enter description here

六、重头戏

1.其实你不必辛苦了,可以小范围分享给有需求的朋友。(全是外文,我几乎没什么需求。)

欢迎访问团队内部的“小屁云” 除了这些我还上传了自己的珍藏。

enter description here

enter description here

enter description here

2.mobi格式需下载到kindle。如果你有意向分享自己的书籍,可以在帖子下方方申请账号获取读写权限。

enter description here

结语

毕竟不是专长,写来班门弄斧,忘海涵,也希望多多指正。

青山不老,绿水长流。感谢遇到诸位,祝诸位猪年诸事顺利!时刻记着——技术无价,品德无价,人情无价。

Thanks a lot for your time and attention to this essay!enjoy your road as a hacker!Welcome to Disaster Army!


一次爬虫试验遇到的磕绊
http://hucstar.github.io/2026/02/18/一次爬虫试验遇到的磕绊/
发布于
2026年2月18日
许可协议