文章详情页

java - hadoop数据查找

浏览：249日期：2024-02-06 11:45:32

问题描述

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的

# map.shawk -F '03' ’$3==xxx{print $0}’ -

结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的

问题解答

回答1：

这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决

java

上一条：为什么做Java游戏服务端不需要掌握ssm、ssh的下一条：java GC日志该怎么看？

相关文章：

1. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？2. 如何解决docker宿主机无法访问容器中的服务？3. 如何解决Centos下Docker服务启动无响应，且输入docker命令无响应？4. 老师，flex-shrink: 1; 按视频操作，不会自动缩放5. docker镜像push报错6. docker api 开发的端口怎么获取？7. mysql - phpMyAdmin无法导入数据8. 如何设置一个无限循环并打破它。（Java线程）9. python - 怎样在linux下开发flask web应用时查看代码出错（traceback）的地方。10. css3 - 微信前端页面遇到的transition过渡动画的bug

排行榜

					
					docker镜像push报错
docker api 开发的端口怎么获取？
老师，flex-shrink: 1; 按视频操作，不会自动缩放
docker images显示的镜像过多，狗眼被亮瞎了，怎么办？
如何解决Centos下Docker服务启动无响应，且输入docker命令无响应？
如何解决docker宿主机无法访问容器中的服务？
css3 - 微信前端页面遇到的transition过渡动画的bug
android  glide asbitmap 在baseadpter中的问题
python的文件读写问题？
如何设置一个无限循环并打破它。（Java线程）
python - 字符串里的u’u00a1’怎么打印成中文
				

热门标签