Bootstrap
博客内容搜索
Kaysama's Blog

python爬取淘宝商品信息并加入购物车

先说一下最终要达到的效果:谷歌浏览器登陆淘宝后,运行python项目,将任意任意淘宝商品的链接传入,并手动选择商品属性,输出其价格与剩余库存,然后选择购买数,自动加入购物车。

在开始爬取淘宝链接之前,咱么要先做一些准备工作,我项目中使用的是 python2.7 ,开发与运行环境都是win10,浏览器是64位chrome 59.0.3。由于淘宝的模拟登陆涉及到一些复杂的UA码算法以及滑块登陆验证,能力有限,为了图省事就使用浏览器手动登录淘宝然后python获取生成的cookie的方式来爬取登录后的数据。

继续阅读

Python随笔

Python的windows包:http://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python

python3.4安装mysql依赖:

继续阅读

Java日志系统Commons-loging、Log4j、Slf4j、LogBack比较

如何记录日志?
商业应用系统一般是混合使用
业务操作日志记录到数据库中,因为可能需要分析统计
一般系统运行及异常日志可以用日志文件,因为可能无法连接数据库
重要系统运行、安全及异常日志可以用系统日志,方便系统管理员查看

Commons-logging:apache最早提供的日志的门面接口。所谓门面日志系统,是指它们本身并不实现具体的日志打印逻辑,它们只是作为一个代理系统,接收应用程序的日志打印请求,然后根据当前环境和配置,选取一个具体的日志实现系统,将真正的打印逻辑交给具体的日志实现系统,从而实现应用程序日志系统的“可插拔”,即可以通过配置或更换jar包来方便的更换底层日志实现系统,而不需要改变任何代码。

继续阅读

Maven使用与各配置项详解

Maven获取构件在仓库中的唯一存储路径的方式:

  1. 基于groupId准备路径,将句点分隔符转成路径分隔符,就是将 “.” 转换成 “/“ ,例如: org.testng转化为org/testng
  2. 基于artifactId准备路径,将artifactId连接到后面:org/testng/testng
  3. 使用version准备路径,将version连接到后面:org/testng/testng/5.8
继续阅读

Hibernate映射关系及CRUD操作

Hibernate对象的三种状态的概念及互相转化:

  1. 瞬时状态或临时状态(Transient):用new创建的对象,它没有持久化,没有处于Session中;
  2. 持久状态(Persistent):已经持久化,加入到了Session缓存中。如通过hibernate语句保存的对象;
继续阅读

MySQL常用命令

一、InnoDB和MyISAM的区别

MyISAM类型不支持事务处理等高级处理,但是执行速度比InnoDB类型快

InnoDB类型提供了具有事务(commit)、回滚(rollback)和崩溃修复能力(crash recovery capabilities)、多版本并发控制(multi-versioned concurrency control)的事务安全(transaction-safe (ACID compliant))型表,但是效率低。

继续阅读

Activiti表关系整理与Spring集成

结构:

ps:activiti5.16.3 依赖 spring4.x

概念:

部署对象 ——Deployment:一次部署的多个文件的信息,通常有 .jpdl.xml 和 .png 两个文件。删除流程定义其实删的就是部署对象

流程定义 ——ProcessDefintion:解析 .jpdl.xml 后得到的流程的信息,其中包含流程中所有的环节和每个环节的详细信息等。查询流程相关信息其实就是查询流程定义

继续阅读

Webx 入门

Webx Turbine 处理请求:

当一个 HTTP 请求到达时,首先由 WebxFrameworkFilter 接手这个请求,下图是 WebxFrameworkFilter 处理一个 WEB 请求的过程:

如图所示,WebxFrameworkFilter 接到请求以后,就会调用 WebxRootController。从这里开始,进入 Spring 的世界 —— 此后所有的对象:WebxRootController、WebxController、RequestContext、Pipeline 等,全部是通过 SpringExt 配置在 Spring Context 中的。

继续阅读

Eclipse / MyEclipse 的一些习惯设置和优化技巧

1、修改当前工作区下所有项目编码:Window->Preferences->General->Workspace->Text File Encoding 改为 UTF-8

2、隐藏工具栏图标:Window->Customize Perspective ->Tool Bar Visibility

3、修改字体:Window->Preferences->General->Appearance->Colors and Fonts

继续阅读

Windows上安装MongoDB较为详细的教程

先前写了一篇关于 MongoDB 聚合查询的博文,里面的实验一直使用的是公司搭建好的 Mongo 环境,作为一个还未入门的新手,学会自己搭建运行环境还是相当必要的,既方便测试,也能更深入的了解 Mongo。

继续阅读

MongoDB 聚合查询

ps:以前都在 iteye 写博文,现在工作换了,转战前端,基本告别了 java 和 python,就把那里的博客迁过来了~~~

出于对性能的要求,公司希望把 Mysql 的数据迁移到 MongoDB 上,于是我开始学习 Mongo 的一些 CRUD 操作,由于第一次接触 NoSQL,还是有点不习惯。

继续阅读