JIKE
    • 注册
    • 登录
    • 搜索
    • 版块
    • 最新
    • 标签
    • 热门
    • 用户

    INFO-SPIDER 爬虫工具箱,强大,已开源,欢迎star

    软件资源
    6
    18
    1311
    正在加载更多帖子
    • 从旧到新
    • 从新到旧
    • 最多赞同
    回复
    • 在新帖中回复
    登录后回复
    此主题已被删除。只有拥有主题管理权限的用户可以查看。
    • K
      kangvcar 🍌 最后由 kangvcar 编辑

      https://github.com/kangvcar/InfoSpider

      INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。并提供数据分析功能，基于用户数据生成图表文件，使得用户更直观、深入了解自己的信息。 目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

      1 条回复 最后回复 回复 引用 1
      • P
        Croc 最后由 编辑

        看了一下大佬的说明文档.支持一下

        👉这里有个 资源分享QQ群

        K 1 条回复 最后回复 回复 引用 0
        • R
          Rong_ma 🍌 最后由 编辑

          好东西啊，顶啊

          1 条回复 最后回复 回复 引用 0
          • Z
            zeze 🍌 最后由 编辑

            唉，大佬会的技术我大部分也会，就是写不出像样的软件，太难受了，只能自娱自乐.jpg

            K 1 条回复 最后回复 回复 引用 0
            • K
              kangvcar 🍌 @PANc 最后由 编辑

              @PANc 谢谢你的支持！可以的话帮忙给项目一个star，让更多人看到，谢谢。

              1 条回复 最后回复 回复 引用 0
              • N
                nianian 🍌 最后由 编辑

                别说了，先来个star，再吃灰

                K 1 条回复 最后回复 回复 引用 0
                • K
                  kangvcar 🍌 @zeze 最后由 编辑

                  @zeze 用点时间就可以了呀

                  1 条回复 最后回复 回复 引用 0
                  • hokori
                    hokori 最后由 编辑 

                    value:InfoSpider:% pip install -r requirements.txt                     <master>
Defaulting to user installation because normal site-packages is not writeable
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
ERROR: Could not find a version that satisfies the requirement matplotlib==3.2.0 (from -r requirements.txt (line 1)) (from versions: 0.86, 0.86.1, 0.86.2, 0.91.0, 0.91.1, 1.0.1, 1.1.0, 1.1.1, 1.2.0, 1.2.1, 1.3.0, 1.3.1, 1.4.0, 1.4.1rc1, 1.4.1, 1.4.2, 1.4.3, 1.5.0, 1.5.1, 1.5.2, 1.5.3, 2.0.0b1, 2.0.0b2, 2.0.0b3, 2.0.0b4, 2.0.0rc1, 2.0.0rc2, 2.0.0, 2.0.1, 2.0.2, 2.1.0rc1, 2.1.0, 2.1.1, 2.1.2, 2.2.0rc1, 2.2.0, 2.2.2, 2.2.3, 2.2.4, 2.2.5, 3.0.0rc2, 3.0.0, 3.0.1, 3.0.2, 3.0.3)
ERROR: No matching distribution found for matplotlib==3.2.0 (from -r requirements.txt (line 1))
value:InfoSpider:%                                                       <master>

                    啊这个怎么办

                    K 1 条回复 最后回复 回复 引用 0
                    • K
                      kangvcar 🍌 @hokori 最后由 编辑

                      @nianian 你去github提交issues，这里发言要间隔60000s是什么鬼

                      1 条回复 最后回复 回复 引用 0
                      • K
                        kangvcar 🍌 @nianian 最后由 编辑

                        @nianian 用起来，不吃灰😊

                        1 条回复 最后回复 回复 引用 0
                        • K
                          kangvcar 🍌 最后由 编辑

                          支持一下

                          1 条回复 最后回复 回复 引用 0
                          • K
                            kangvcar 🍌 最后由 编辑

                            欢迎大家使用

                            1 条回复 最后回复 回复 引用 0
                            • K
                              kangvcar 🍌 最后由 编辑

                              已更新
                              开发者回忆录🌈
                              场景一

                              小明一如往常打开 Chrome 浏览器逛着论坛，贴吧，一不小心点开了网页上的广告，跳转到了京东商城，下意识去关闭窗口时发现 （OS：咦？京东怎么知道我最近心心念念的宝贝呢？刚好我正需要呢！），既然打开了那就看看商品详情吧 （OS：哎哟不错哦），那就下单试试吧！

                              场景二

                              小白听着网易云音乐的每日推荐歌单无法自拔 （OS：哇！怎么播放列表里都是我喜欢的音乐风格？网易云音乐太棒了吧!深得我心啊！黑胶会员必须来一个！），逛着知乎里的“如何优雅的XXX?”，“XXX是怎样一种体验？”，“如何评价XXX?” （OS：咦？这个问题就是我刚好想问的，原来早已有人提问！什么？？？还有几千条回答！！进去逛逛看！）

                              场景三

                              小达上班时不忘充实自己，逛着各大技术论坛博客园、CSDN、开源中国、简书、掘金等等，发现首页的内容推荐太棒了（OS：这些技术博文太棒了，不用找就出来了），再打开自己的博客主页发现不知不觉地自己也坚持写博文也有三年了，自己的技术栈也越来越丰富（OS：怎么博客后台都不提供一个数据分析系统呢？我想看看我这几年来的发文数量，发文时间，想知道哪些博文比较热门，想看看我在哪些技术上花费的时间更多，想看看我过去的创作高峰期时在晚上呢？还是凌晨？我希望系统能给我更多指引数据让我更好的创作！）

                              看到以上几个场景你可能会感叹科技在进步，技术在发展，极大地改善了我们的生活方式。

                              但当你深入思考，你浏览的每个网站，注册的每个网站，他们都记录着你的信息你的足迹。

                              细思恐极的背后是自己的个人数据被赤裸裸的暴露在互联网上并且被众多的公司利用用户数据获得巨额利益，如对用户的数据收集分析后进行定制的广告推送，收取高额广告费。但作为数据的生产者却没能分享属于自己的数据收益。

                              想法

                              如果有一个这样的工具，它能帮你拿回你的个人信息，它能帮你把分散在各种站点的个人信息聚合起来，它能帮你分析你的个人数据并给你提供建议，它能帮你把个人数据可视化让你更清楚地了解自己。

                              你是否会需要这样的工具呢? 你是否会喜欢这样的工具呢？
                              基于以上，我着手开发了 INFO-SPIDER

                              1 条回复 最后回复 回复 引用 0
                              • Z
                                zeze 🍌 最后由 编辑

                                场景四
                                忽然发现个妹子想追她，拿到社交账号，分析分析共同爱好

                                K 1 条回复 最后回复 回复 引用 0
                                • K
                                  kangvcar 🍌 @zeze 最后由 编辑

                                  @zeze 哎哟！不错哦！已把你的需求加入TO-DO List

                                  Z 1 条回复 最后回复 回复 引用 0
                                  • Z
                                    zeze 🍌 @kangvcar 最后由 编辑

                                    @kangvcar 感谢大佬hhhhh

                                    K 1 条回复 最后回复 回复 引用 0
                                    • K
                                      kangvcar 🍌 @zeze 最后由 编辑

                                      @zeze 比如哪些社交账号呀？

                                      Z 1 条回复 最后回复 回复 引用 0
                                      • Z
                                        zeze 🍌 @kangvcar 最后由 编辑

                                        @kangvcar 比如你知道女神的qq号，又可以访问她的空间，可以分析关键词，然后用pyechart分析出来。或者知道了女神的微博账号，分析女神都关注了谁，或者爬取女神的微博，统计关键词。

                                        1 条回复 最后回复 回复 引用 0
                                        • 1 / 1
                                        • First post
                                          Last post