优质中文网

手机浏览器扫描二维码访问

第17章 爬虫(第1页)

“接下来,就是试试获取小说的内容了。”

接下来,他开始编写程序以获取小说的详细信息和内容。

由于小说内容比较庞大,他决定把获取内容的频率放低。

毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的wifi。

如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。

他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。

“接下来,就是见证奇迹的时刻。”

他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。

无数本小说的内容文字一闪而过,便进入了数据库之中。

“哟,还有点意思。”

他发现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。

针对ip的。

不过,他快速升级了他的爬虫程序,加入了无数的ip池,以及强大的识别验证码能力,使其更难被网站检测到。

“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”

经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。

“最强的点娘的反爬虫机制也不过如此。看来获取数据集的过程,会比我想象的简单不少。“

”那现在就是时间的问题了,等我爬取到足够多的小说数据集,就可以开始训练我的写小说ai模型了!”他心中充满了自信。

现在,就让小说模型先跑着吧。

今天是周末,奶茶店的人比往常多上不少,等到了快要歇业的时间里,铺子里还有不少的人。

林小玲没办法,只好延长了奶茶店的营业时间。

连带的,王卿一遍看着ai模型的训练,一遍记着单词。

“喂,我要下班了,咱们一起走吧。”

王卿还沉迷于互联网世界的新奇时,林小玲的声音传了上来。

他抬头一看,“都已经十二点了啊。”

“等我一会儿。”

“好,我在门口等你。”

林小玲没有上楼去,今天太累了,她就在楼下等着王卿收拾东西。

“怎么还没出来呀。”

她在店门口等了两三分钟,王卿那边还没有动静,就想上楼去看看。

还没有走到门口,便看到他扛着一台巨大的电脑主机和一个显示器,不禁笑了起来。

王卿嘴里喘着粗气,额头上挂着一粒粒细密的汗珠,身上的衬衫湿漉漉的贴在了背上。

他双手抱着一台电脑主机和一个显示器,像只蚂蚁一样艰难地从二楼的楼梯上下了来。

盲她/江先生他走路带醋  和腹黑三叔闪婚后真香了  点个陪玩,怎么变成女朋友了?  亡者之路前传:白银之翼上  偏轨沉沦  葬天刀  蜀山签到三千年,出关陆地剑仙  换亲后,庶女她成了当朝小福妻  摆摊卖水果  快穿攻略之男神通通入我怀  全村亿万富翁,你管这叫贫困村?  副本存活率0?我直接速通!  兵行长空  末世:大智若愚的我,大于弱智的她  印度神话  我在喜马拉雅深处探险  道将行,长生游传  时光之刃:张无忌轮回之旅  穿越动漫:从画江湖开始  从体育巨星到商业巨头  

热门小说推荐
异世界:狼人领主,我靠魅魔发家

异世界:狼人领主,我靠魅魔发家

关于异世界狼人领主,我靠魅魔发家部族陨灭,奥古斯带着仅剩的两个族人艰苦奋斗,终于获得了重建村落的机会。在魅魔的庇护下,狼人一族能否重新崛起?危险与机会并存的荒野,兽潮雪灾之下,亚人族的路在何方?黑狼族巨魔族蛇人族…这究竟是怎样的一个世界?血脉战士首领领主…世间还流传着神明的传说。且随奥古斯重建家园,步步为营,感受魔幻世界的神奇吧!...

抢救大明朝

抢救大明朝

朱慈烺此贼比汉奸还奸,比额李自成还能蛊惑人心!闯王李自成立马虎牙山,遥望东南,感慨万千。慈烺此子忤逆不孝,奸诈凶残,简直是曹操再世,司马复生,让他当了皇帝,全天下的逆贼奸臣刁民一定会想念朕的!大明崇祯皇帝于明孝陵前,痛哭流涕。我冤枉啊!我洪承畴真的不是朱贼慈烺的内应,我对大清可是一片忠心啊!大清兵部...

三国之天下无双

三国之天下无双

乱世开始,被迫成为黄巾杂兵。几番绝境挣扎求生,刘争相信,只要不死,总会出头。名将,美女,地盘,我统统要!...

枭门邪妻

枭门邪妻

简介她是二十三世纪最强组织的女老大认识他之前若重来一世,老娘定撩天下美男认识他之后美男是什么?老娘眼里只看得见你啊他是龙云皇朝权倾朝野的摄政王认识她之前所有看不顺眼的,孤都要毁灭认识她之后敢胆靠近她的,孤都看不顺眼精彩片断一某日,阎离走在街上耳旁有人道听说了吗,咱们摄王政王殿下喜欢吃西街那家的糕点一旁的阎离眼神亮,只见一道残影划过,她已消失在原地太好了,那货最近胃口不佳,正好买来讨他欢心日,摄政王在处理政务暗卫在耳旁念叨阎姑娘这次有好几天没来了吧!看了看不为所动的...

NBA禁区推土机

NBA禁区推土机

这是一个中锋辈出的时代,美国时代周刊登载了一篇关于记者为什么外界评价您是李胜利因为我不允许有人在我周围两米内起飞。记者为什么您的罚球命中率会比奥尼尔还低?李胜利因为奥尼尔学会了里克记者为什么你喜欢吃西红柿?李胜利因为等等,你的问题有点跑偏了啊,西红柿是姚明的梗!...

每日热搜小说推荐