该系统主要是通过爬取京东和淘宝的的手机商品数据进行分析。爬虫python脚本通过打开浏览器授权登录后按照搜索“手机”关键字后出现的商品列表进行爬取，获取标题名，解析付款人数，品牌，评论人数，发货地，包邮等标签，通过发货地和高德API获取经纬度，然后将数据入库，为后续可视化页面做铺垫。可视化页面主要是通过bootstarp+Echarts+JQuery构造；后端采用了flask框架编写接口。页面功能包括首页可视化展示，京东数据源列表管理，淘宝数据源管理，可视化大屏（可以切换数据源），手机推荐（按照用户输入进行推荐）
“基于大数据的手机销售数据分析可视化系统”。该系统主要包括以下核心组成部分和功能：
-
数据获取阶段：
- 使用Python编写的网络爬虫脚本，针对京东和淘宝电商平台进行数据抓取。
- 爬虫通过模拟浏览器进行授权登录操作，针对关键词“手机”搜索结果的商品列表进行数据采集。
- 抓取的数据包含商品标题、付款人数、品牌信息、评论人数、发货地以及是否包邮等关键指标。
- 通过调用高德地图API，将文本形式的发货地转换为经纬度坐标，以丰富地理位置信息。
-
数据存储阶段：
- 收集到的原始数据经过处理后被整合入库，准备用于后续的数据分析和可视化展示。
-
后端架构与数据接口：
- 采用Flask作为后端开发框架，构建了一系列API接口，用于管理和提供前端所需的数据服务。
-
前端可视化页面：
- 页面布局和样式采用Bootstrap进行构建，确保响应式和美观性。
- 数据可视化部分运用Echarts图表库，动态展示手机销售的各种统计分析结果。
- 利用JQuery增强页面交互效果，实现在可视化大屏上切换不同数据源（京东或淘宝）的功能。
- 页面功能模块包括：首页综合可视化展示、京东和淘宝各自的数据源列表管理、手机销售推荐功能，可以根据用户输入的条件进行个性化推荐。
整个系统旨在通过对电商平台的大数据进行深度挖掘和直观展示，为用户提供有价值的市场洞察和购买建议。
论文截图 
登录 
首页 
淘宝数据源管理 
京东数据源 
可视化大屏 
推荐系统 
“基于大数据的手机销售数据分析可视化系统”为核心课题，旨在利用大数据技术和可视化手段深入挖掘电商平台手机商品的销售信息，实现数据的有效管理和直观展示。系统的主要构成与实现过程如下：
首先，采用Python编程语言设计了一款定制化的网络爬虫，通过模拟浏览器行为并经过授权登录流程，针对京东和淘宝两大电商平台进行了针对性的数据抓取。爬虫聚焦于搜索关键词“手机”的商品列表，精准提取关键信息，包括商品标题、付款人数、品牌名称、评论人数、发货地以及是否包邮等核心指标。此外，通过调用高德地图API，爬取到的发货地址信息被转化为经纬度坐标，丰富了地理位置维度的数据分析。
所获取的原始数据经过清洗、整理后，被有效地载入数据库，为后续的数据分析和可视化提供了扎实的基础。在数据库设计方面，系统合理组织了数据模型，确保数据存储的安全性和查询效率。
在系统后端开发上，选择了轻量级的Flask框架构建RESTful API接口，用于处理前端请求，实现数据的增删改查以及数据接口的调用，确保了前后端数据的高效交互。
前端设计方面，系统采用了Bootstrap进行响应式布局，结合Echarts图表库和JQuery工具库，构建了一个功能丰富的可视化页面。该页面主要包括以下功能模块：
- 首页可视化展示：通过Echarts绘制各类统计图表，直观反映手机销售的整体态势、地域分布、品牌竞争格局等多维度信息。
- 数据源管理：分别设置了京东和淘宝数据源的独立管理模块，允许用户查看、添加、更新和删除爬取到的商品数据源。
- 可视化大屏：设计了全屏模式的可视化大屏，用户可以根据需求自由切换不同的数据源，即时展现对应平台的手机销售数据详情。
- 手机推荐功能：基于用户输入的需求参数，系统能够智能匹配并推荐相应的手机型号和品牌，提高了用户体验和购买决策的便利性。
