文章详情页

java - hadoop数据查找

浏览：171日期：2024-02-06 11:45:32

问题描述

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的

# map.shawk -F '03' ’$3==xxx{print $0}’ -

结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的

问题解答

回答1：

这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决

java

上一条：为什么做Java游戏服务端不需要掌握ssm、ssh的下一条：java GC日志该怎么看？

相关文章：

1. dockerfile - [docker build image失败- npm install]2. nignx - docker内nginx 80端口被占用3. node.js - mongoDB使用$gte的问题4. java中关于直接插入排序遇到的问题。5. javascript - c#如何向js传值6. angular.js - angular内容过长展开收起效果7. java - mybatis怎么实现在数据库中有就修改,没有就添加8. node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？9. docker gitlab 如何git clone？10. 我在centos容器里安装docker，也就是在容器里安装容器，报错了？

排行榜

					
					dockerfile - [docker build image失败- npm install]
我在centos容器里安装docker，也就是在容器里安装容器，报错了？
javascript - c#如何向js传值
nignx - docker内nginx 80端口被占用
node.js - mongoDB使用$gte的问题
angular.js - angular内容过长展开收起效果
node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？
java - mybatis怎么实现在数据库中有就修改,没有就添加
docker gitlab 如何git clone？
java中关于直接插入排序遇到的问题。
macos - mac下docker如何设置代理
				

热门标签