ITeye博客

yuhai.china

yuhai.china · 共 67 篇文章

Recommender system based on hadoop

hadoop jar mahout-core-0.4-job.jar org.apache.mahout.cf.taste.hadoop.pseudo.RecommenderJob -Dmapred.input.dir=input -Dmapred.output.dir=result --recommenderClassName org.apache.mahout.cf.taste.impl.recommender.slopeone.SlopeOneRecommender

2011-05-01 22:24 · 评论(0)

hadoop 0.21.0 伪分布式环境搭建(mac雪豹系统)

1.下载hadoop包, http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.gz 2.解压 tar xzf hadoop-0.21.0.tar.gz 3.进入hadoop解压后得文件夹,编辑hadoop-env.sh 指定JAVA_HOME变量,比如 export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home 4.edit ~/.bash_profile export …

2011-04-09 13:31 · 评论(0)

php使用xpath抽取网页超链接

<?php $html=file_get_contents('http://www.163.com/'); $doc=new DomDocument(); $doc->loadHTML($html); $xpath=new DOMXpath($doc); foreach($xpath->query('//a/@href') as $node){ $link = $node->nodeValue; echo $link . "\n"; } ?>

2010-06-07 11:45 · 评论(0)

php编码转换

2010-06-07 10:05 · 评论(0)

cpp链接库设置

在linux下 1.在/etc/ld.so.conf中指定连接加载的目录 2.运行ldcoonf 3.使用ldd 查看 目标文件的加载路径 在macbook下: otool -L

2010-03-26 16:36 · 评论(0)

macbook 使用感受

太爽了. 支付宝可以用 MSN可以用 QQ可以用 开发得心应手. 不论是JAVA,PYTHON,C++,方便非常. 最赞的是屏幕,比我用过的所用THINKPAD都好 htt://www.freechinatrip.com/

2010-01-21 11:39 · 苹果系统 · 评论(0)

nutchbase=nutch+hbase

当我们为nutch的架构发愁的时候,nutch的开发人员送来了nutchbase。我一些简单的测试表明,在hadoop0.20.1和hbase0.20.2上,稍加修改可以运行起来。 它的优点很明显:架构合理. 开发者是这样说的,引用自jira http://issues.apache.org/jira/browse/NUTCH-650 A) Why integrate with hbase? All your data in a central location No more segment/crawldb/linkdb merges. No more "missing" data in …

2010-01-14 10:57 · JAVA开发 · 评论(0)

hbase 0.20 client编程

import java.io.IOException; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Result; i…

2010-01-06 17:38 · JAVA开发 · 评论(1)

hbase shell操作

bin/hbase shell create 'url','sohu' disable 'url' alter 'url', {NAME => '163'} enable 'url' put 'url','163','163:lady','lady.163.com' scan 'url'

2010-01-06 14:41 · JAVA开发 · 评论(0)

部署单机hadoop0.20和hbase0.20测试环境

从官方网站上下载对应的版本,解压到hbase和hadoop目录下. 在hadoop下面 配置hadoop-env.sh配置JAVA_HOME 配置conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> 配置conf/hdfs-site.xml <configuration> <property> <name>dfs.name.dir</name> <value>/had…

2010-01-05 15:56 · JAVA开发 · 评论(0)

T60安装苹果ideneb 10.5.7过程记录

1.准备一张ideneb 10.5.7的安装盘,我是在淘宝上买的,花了13块钱。 2.T60 195143U一台,集成GMA950显卡 3.像光驱安装windows一样。不过要记得抹盘,选择相应的驱动,声卡,显卡,无线(3945不能用,我换了一个无线网卡),语言包。 4.完美成功。

2009-12-18 13:13 · 评论(0)

利用neko抽取超链接及锚文本

import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.StringReader; import java.net.URL; import java.nio.CharBuffer; import java.util.HashMap; import org.cyberneko.html.parsers.DOMParser; import org.xml.sax.InputSource; public class Crawler { pu…

2009-12-06 20:48 · 评论(0)

使用CharBuffer和 InputStreamReader读取各种编码的网页

只要指明编码格式,就能正确的读取。 import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.URL; import java.nio.CharBuffer; public class PageParser { public static void main(String args[]) { BufferedReader in = null; try { in = new BufferedReader(new InputStreamR…

2009-12-03 15:38 · 评论(0)

利用lucene,nekohtml,为rss新闻建立索引

import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.io.InputStreamReader; import java.net.URL; import java.util.ArrayList; import java.util.List; import javax.swing.text.html.HTML.Tag; import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; import or…

2009-12-02 12:05 · 评论(0)

使用python调用计算所分词系统ICTCLAS30

代码很简单,但我自己摸索了一下午 #coding:gb2312 from ctypes import * dll=cdll.LoadLibrary("ICTCLAS30.dll") dll.ICTCLAS_Init(c_char_p(".")) lpText = u"计算所汉语词法分析系统ICTCLAS调用测试" bSuccess = dll.ICTCLAS_ParagraphProcess(c_char_p(lpText), 1) print c_char_p(bSuccess).value,lpText dll.ICTCLAS_Exit() 把这个文件同ICTALAS30.DLL ,DA…

2009-11-21 17:47 · 评论(1)